Когда подготовка завершилась, весной 624 года Ираклий отправился на Восток. Возможно, персы ожидали, что император первым делом попытается вернуть часть утраченных территорий в Сирии. Если так, то их армия ждала там Ираклия долго и безрезультатно: он так и не пришел. Вместо этого византийская армия двинулась на восток через Малую Азию и далее на север, в Армению, которая давно была спорной территорией, поделенной между двумя империями. Оттуда византийцы повернули на юг и вышли к незащищенным северным границам самой Персии. Известие об этом прозвучало для Хосрова II как гром среди ясного неба: он призвал свои войска вернуться и защитить родную землю. Однако пока персидская армия находилась в пути, никто не мог помешать Ираклию захватывать и уничтожать персидские города один за другим. Когда его армия подошла к священному для зороастрийцев городу Шиз, Хосров был уже недалеко со значительными силами, но, услышав о приближении Ираклия, решил уйти, избежав сражения. Таким образом, византийские войска смогли войти в город, не встретив сопротивления, и отомстили за разрушение церквей в Иерусалиме, уничтожив храм, где горел священный огонь. Кампания оказалась настолько успешной, что с приближением зимы Ираклий не стал выводить войска на византийскую территорию в Малой Азии, а решил остаться в Армении. Следующей весной византийцы возобновили военные действия. На этот раз персы были готовы, и на перехват войска Ираклия отправились две крупные армии. После долгого преследования по пересеченной местности Ираклий вступил с ними в бой там, где сам счел нужным, и разбил их одну за другой, захватив золотой щит и доспехи одного из полководцев, который бросил их, убегая с поля боя. После этого византийской армии ничто не мешало возобновить свой победный марш по Персии.
В отчаянии Хосров и его военачальники придумали, как заставить Ираклия уйти: они решили действовать его методами и ударить прямо по Константинополю, чтобы вынудить императора вернуться на защиту столицы. К аварам были отправлены посланники с призывом нарушить перемирие и также пойти на штурм византийской столицы. Аварского кагана не пришлось долго уговаривать, поскольку он уже несколько раз нарушал соглашение, а воспользоваться ослабленным состоянием империи было слишком соблазнительно. Поэтому, когда весной 626 года Хосров направил своего полководца Шахрвараза с большими силами в Малую Азию, авары и их союзники славяне тоже выступили в поход. В начале июня персы подошли к Босфору, а вскоре после этого, на другой стороне пролива, у стен Константинополя оказались и передовые отряды аваров. Союзники могли видеть друг друга и общаться, подавая сигналы огнем. Когда ловушка захлопнулась, в городе воцарилось мрачное настроение. В мае на улицах и в Святой Софии происходили массовые беспорядки и протесты против высоких цен на продовольствие, а к Ираклию отправили гонцов с вестью об опасности, грозящей столице.