Когда новое устройство империи утвердилось, Ираклий смог заключить мир с аварами и в 622 году выступить против Персии, а затем провести несколько успешных военных кампаний на восточных границах, особенно в Армении. Но оказалось не так-то просто качнуть маятник в противоположном направлении, и в 626 году персы вновь подступили к Константинополю. Спас положение византийский военный флот и, как твердо верили византийцы, чудесное покровительство Богоматери. А на следующий год Ираклий вторгся в Персию. В 628 году персы капитулировали, и в 630 году Святой крест, захваченный ими в 613 году, был возвращен в Иерусалим. Однако прошло всего десять лет, и появился новый мощный враг – воинствующий ислам. Вскоре после 640 года вся Сирия, Палестина и Египет были потеряны. На этот раз практически навсегда.
Но если завоевания Ираклия скоро обратились в ничто, военно-административная система, введенная им, стала основой византийской государственности на следующие пятьсот лет. Это само по себе было достижением значительным. Его эффективность сразу проявилась в том, что арабы, сметавшие до того все на своем пути, так и не смогли добиться сколько-нибудь реальных успехов в войне с византийцами. Попытки нападения проводились в 663 году, затем в 672 году, когда была захвачена Смирна, и вновь в 674 году, когда арабский флот осадил Константинополь. Это последнее смогло произойти лишь потому, что халиф Муавия понял: если он хочет как-то продвинуться вперед, ему необходимо завести собственные военно-морские силы. Но даже тогда, частично благодаря секрету «греческого огня», Византия смогла отразить удар, и в 678 году арабы отступили. После того как угроза с востока была остановлена, византийцы могли заняться Балканами. Константин IV (668–685) признал Болгарское царство, но в 688 году было предпринято нападение на славян, которые уже заселили Иллирию и начали проникать в Грецию. Их вытесняли из районов Вислы и верховьев Днепра гунны и другие кочевники. Начиная с этого момента и далее взаимоотношения со славянскими народностями являлись одной из главных забот византийской внешней политики. С другой стороны, именно контакты с Византией дали славянам религию, искусство, культуру и вообще основы их образа жизни.
Несмотря на некоторые военные успехи, история империи в следующие двадцать лет производит грустное впечатление. Деспотическое правление преемника Константина IV, Юстиниана II, привело к его свержению в 695 году. После двух кратких и малозначительных правителей он с помощью болгар вновь захватил трон в 705 году. В 711 году он умер, а его преемник Филиппик был убит своей же армией в 713 году. Вместо него императором был коронован видный гражданский чиновник Анастасий II, но армии это не понравилось, и военные провозгласили императором Феодосия III. Но он сразу же был свергнут и последовал за Анастасием в монастырь. В 717 году императором стал Лев, один из стратегов фемов. О несомненных достоинствах тогдашней государственной структуры говорит то, что после двадцати бурных лет Лев смог победить арабов и отогнать их от Константинополя. Хотя следует признать, что немалую помощь в этом ему оказали разразившаяся в арабской армии чума и голод. Кроме того, император сумел заручиться против них поддержкой болгар и хазар.