Однако вывод оказался преждевременным: в начале 636 года арабская армия, невиданная по численности, вошла на территорию империи. Ваан сразу понял, что это полномасштабное вторжение, а не обычный набег, и попросил прислать подкрепление. К нему отправили императорскую армию. Объединившись, два войска представляли собой грозную силу, хотя ее и не возглавлял лично покоритель Ниневии. Византийцы и арабы сошлись в долине реки Ярмук и в течение нескольких недель между ними происходили лишь мелкие стычки. Преимущество было, несомненно, за византийцами, которые имели более многочисленную армию и воевали на своей земле, но недели шли, а постоянные проблемы не позволяли им нанести решительный удар. Погода была против них: ветер дул со стороны арабов, швыряя им в лица песок. В рядах византийской армии начался разброд. В ее составе, как всегда, было много союзников-арабов. И хотя в прошлом они всегда охотно сражались с другими арабами, но на этот раз союзникам недоплатили и некоторые из них стали переходить на сторону мусульман. И ко всему, как и Велизарию, Ваану приходилось терпеть постоянные клеветнические слухи, распространявшиеся и при дворе императора, и в его лагере, о том, что он якобы хочет захватить трон. Но в конце концов ничто из этого не привело бы византийцев к поражению. Все решил умный ход арабского полководца, который сделал вид, что уводит свои войска, а ночью вернулся, окружил византийцев и захватил мост, по которому они могли бы уйти. Понимая, что они в ловушке, византийские войска запаниковали и потеряли сплоченность. Теснимые со всех сторон, византийцы гибли тысячами, в то время как арабы упрочивали свое преимущество. В результате, как и при Адрианополе в 378 году, армия была полностью уничтожена. Лишь немногие сумели вырваться из окружения. Одним ударом арабы сломили сопротивление византийцев. Из долины реки Ярмук мусульмане двинулись на Дамаск, который открыл им свои ворота без боя.
Кажется почти невероятным, что Ираклий, который проявил такую энергию и мужество в борьбе с персами всего несколько лет назад, теперь пребывал в бездействии и лишь наблюдал за происходящим. Он не участвовал в битве при Ярмуке, находясь в это время далеко в Антиохии. А после падения Дамаска, вместо того чтобы попытаться спасти ситуацию, покинул Сирию и отправился на запад. С собою он увез Крест Господень, возвращенный персами в 628 году, тем самым словно открыто признав, что теперь все кончено. На этот раз его возвращение в Константинополь разительно отличалось от возвращения с войны с персами. Когда Ираклий прибыл в Иерию, его не встречали ликующие толпы и лишь один корабль ждал его, чтобы незаметно переправить через Босфор в Большой константинопольский дворец. Но Ираклий отказался вступать на его борт и остался во дворце в Иерии. Известие о странном поведении императора повергло чиновников и видных горожан в беспокойство, и от них прибыли делегации с просьбами к императору приехать в столицу и вернуться к своим обязанностям. Но все было бесполезно. Император оставался непреклонен. Он отправил в Константинополь своих сыновей Константина и Ираклеона, чтобы те присутствовали вместо него на церковных празднествах и на ипподроме, настаивая на том, чтобы потом они вернулись в Иерию.