Однако поражение при Каннах не сломило Рим и не привело к распаду римско-итальянского союза, на что так надеялся Ганнибал. Его просьба в Карфаген о присылке подкреплений осталась без ответа. Тогда он обратился за помощью к младшему брату Гасдрубалу, командовавшему карфагенскими войсками в Испании. Тот откликнулся на его призыв, но о перемещении войск Гасдрубала стало известно римскому полководцу Клавдию Нерону, лазутчики которого старались не зря. В 207 году до н.э. у реки Метавр римляне устроили карфагенцам засаду и разбили их. Победители прислали Ганнибалу голову брата, чтобы тем самым устрашить вражеского предводителя.
Тем временем тактика Рима, направленная на всяческое затягивание войны и истощение сил карфагенской армии на итальянской земле, стала давать желаемые результаты. Оторванность от тыловых баз поставила войска Ганнибала в крайне затруднительное положение: не было ни подвоза провианта, ни присылки подкреплений. Все же Ганнибал продолжал воевать в Италии. Лишь известие о том, что в 204 году до н.э. римляне вторглись в земли Карфагена, заставило его уйти из Италии.
Римская республика в продолжавшейся Второй Пунической войне стала постепенно захватывать инициативу в свои руки, одержав ряд побед на Сицилии, в Испании и самой Италии. Вернувшийся на родину Ганнибал собрал новую армию и в марте 202 года до н.э. сразился с консулом Сципионом при Заме. Если до этого карфагенский полководец побеждал во многом благодаря преимуществам своей конницы, то на сей раз она уступила лучше организованной римской. Армия Карфагена при Заме была разбита.
В 201 году до н.э. Карфаген и Рим заключили между собой мир, хотя Ганнибал настаивал на продолжении вооруженной борьбы. До 196 года до н.э. он возглавлял управление городом-государством, строя уже несбыточные планы борьбы со своим заклятым врагом.
Заподозренный римлянами в подготовке новой войны, престарелый полководец был вынужден бежать из Карфагена (ему отказали в доверии соотечественники) к сирийскому царю Антиоху III. Он стал его ближайшим советником в военных делах. После поражения сирийского правителя в войне с Римом (192-188) Ганнибал укрылся в Армении, потом перебрался в Вифонию. Там 70-летний Ганнибал, не без оснований опасаясь выдачи Риму, принял яд. Согласно римским источникам, его последними словами были: "Надо избавить римлян от постоянной тревоги: ведь они не хотят слишком долго ждать смерти одного старика".
Ганнибал вошел в мировую историю как самый серьезный соперник Древнего Рима на поле брани. Он считается одним из крупнейших полководцев той эпохи, чье военное искусство было в немалой степени основано на личном героизме. Пятнадцать долгих лет он успешно вел войну против могущественного Рима вдали от родины, опираясь лишь на те силы, которые он привел в Италию, "перешагнув" Альпийские горы.