Победы Ганнибала вызвали политические споры в самом Риме. В отчаянных поисках выхода из сложившейся ситуации предлагалось множество разных планов и стратегий. Главный вопрос был в том, стоит ли еще раз ввязываться в открытое столкновение с войсками неприятеля. Стратегия избегания сражения была названа в честь военачальника и политического деятеля Квинта Фабия Максима, впоследствии получившего прозвище Кунктатор («Промедлитель»). Став одним из наиболее влиятельных стратегов после победы Ганнибала у Тразименского озера, Фабий разработал план действий, согласно которому в битву с карфагенянами следует ввязываться не на равнинах, а в холмистой местности, потому что только там римские легионеры имеют преимущество над карфагенской конницей. Большинству такая стратегия казалась слишком пассивной, но отход от нее привел к фиаско при Каннах. После этого к Фабию вновь стали прислушиваться.
В конечном итоге Ганнибалу не удалось сокрушить Рим потому, что победы над вражеской армией в итоге не приводили к развалу системы территориального устройства неприятеля. В конце концов, войск у Ганнибала было не так много, и осаждать города он не мог. Спешивший из Испании Гасдрубал был разбит римлянами в битве при Метавре (207), и Ганнибал подкрепления не получил. Была блокирована и поддержка с моря. К тому же римляне освободили большое количество рабов, которые присоединились к их армии. Взять сам город Рим штурмом было невозможно, да и большинство союзников не отступились.
Постепенно Карфаген начал сдавать позиции. Началось все с побед римской армии в Испании: победоносный Сципион выиграл важнейшую битву при Илипе (206), а затем арена боевых действий была перенесена на север Африки (204). Там в 202 году до н. э. Сципион одержал победу над Ганнибалом в битве при Заме во многом благодаря тому, что римские легионеры научились справляться с боевыми слонами. Ганнибалу же пришлось возвращаться домой, потому что высадившийся на севере Африки Сципион оказался удачливее своих предшественников времен 1-й Пунической войны и представлял серьезную угрозу. Именно поэтому великий римский полководец получил прозвище «Африканский». Итак, одержав верх и во 2-й Пунической войне, Рим упрочил свою гегемонию на западе Средиземноморья, в том числе на юге и востоке Испании. Покончив с могущественным соперником, римляне получили возможность перенаправить военные ресурсы на отдельных, разобщенных врагов.
Большая часть армии Римской республики формировалась из представителей разных италийских народов, которые, имея разный статус и формы организации, должны были служить в римской армии. Подобно правителям китайской империи Хань, римские власти предпочитали полагаться на многочисленную армию, состоящую из взрослых представителей сельского населения – почти неисчерпаемый людской ресурс, обеспечивший победу над Карфагеном. В 31 году до н. э. в римской армии числилось почти четверть миллиона человек, то есть четверть мужского населения призывного возраста.