В 204 году он получил известие о том, что римский полководец Сципион вторгся в Карфаген. Это заставило Ганнибала уйти из Италии и вернуться на родину. Постепенно Римская республика стала захватывать инициативу в войне. Римляне одержали ряд побед над карфагенянами и их союзниками в Сицилии, Испании и самой Италии. Карфагенский военный флот уже не был в состоянии вести войну на Средиземном море. Во время взятия римскими войсками сицилийского города Сиракузы был убит великий ученый Древнего мира Архимед.
Вернувшись на родину после 16 лет отсутствия, Ганнибал собрал новую армию и в марте 202 года сразился со Сципионом Африканским при Заме. Если раньше карфагенский полководец побеждал неприятеля за счет преимущества своей конницы, то на сей раз она уступила лучше организованной римской. В сражении при Заме армия Карфагена потеряла 10 тысяч человек, в то время как победители – всего 1500 человек. Разгромивший Ганнибала римский полководец получил тогда прозвание Сципион Африканский.
В 201 году Римская республика и Карфаген заключили крайне тяжелый для побежденных мир, хотя Ганнибал настаивал на продолжении войны. Вторая Пуническая война закончилась полным военным поражением Карфагена: он выдал Риму весь свой флот и обязывался в течение 50 лет выплачивать победителю ежегодно 10 тысяч эвбейских таланов. Все карфагенские владения вне Африки отходили Римской республике. Африканская Нумидия объявлялась независимой от Карфагена. Рим получил полное господство в Средиземноморье.
До 196 года Ганнибал управлял Карфагеном. Желание возобновить вооруженное противоборство с ненавистным ему Римом не покидало его. Заподозренный римлянами в подготовке новой войны и потеряв доверие своих сограждан, престарелый полководец был вынужден бежать из родного Карфагена, защите которого от врагов он отдал всю свою жизнь. Однако ненависть Рима преследовала его всюду.
Сперва Ганнибал нашел убежище у сирийского царя Антиоха III, став его советником. После поражения сирийского правителя в войне с Римом 192–188 годов до н. э., Ганнибал укрылся в Армении, а потом в Фивонии. Там 70-летний полководец, опасаясь быть выданным Риму, принял яд.
Ганнибал вошел в военную историю как один из крупнейших полководцев Древнего мира. Полководческий талант сочетался в нем с даром мудрого государственного деятеля, политика и дипломата. Он сумел создать сильную карфагенскую армию, основой которой являлась пехота, а ударной силой – кавалерия. Пятнадцать лет он успешно вел войну против могущественного Рима вдали от родины, опираясь лишь на собственные силы.