Политика сокращения расходов и административная и военная реформы должны были доказать свою состоятельность, когда набеги арабов на Малую Азию стали повторяться чуть ли не ежегодно. Они становились все более дерзкими, особенно после того, как у халифата появились два важных форпоста. Одним был Тарс к югу от Таврских гор, другим – Мелитена на западе. Обладание последней означало, что теперь арабские войска имели возможность безопасно зимовать, не отступая за горы. Они стали пользоваться этим, чтобы проводить весь год в Малой Азии, переходя с места на место и грабя попадающиеся по пути города. В 726 и 727 годах войско под началом самого халифа отправилось в Малую Азию и захватило Кесарию, а штурмовой отряд был отправлен вглубь византийской территории, чтобы атаковать Никею. Он не смог взять город, но отступил, тяжело груженный добычей. Не в силах прекратить эти набеги, византийцы думали над тем, как снизить наносимый ими ущерб. Они стали использовать тактику слежения: не вступая в бой, шли за арабской армией, когда та двигалась с добычей в сторону Мелитены и Таврских гор. Таким образом византийцы могли отлавливать отставших и возвращать часть награбленного. Кроме того, они создали систему раннего оповещения – построили на возвышенностях маяки, которые могли предупредить стратига конкретной фемы, что арабы идут одним из проходов в Таврских горах, чтобы у него было время подготовиться к встрече с ними. Новая стратегия оправдала себя в мае 740 года, когда огромное войско арабов возвращалось на восток. Византийские военачальники не стали мешать отходу основных сил, но сумели отрезать два тыльных отряда и почти полностью уничтожили их в битве при Акроиноне.
Такие победы несомненно воодушевляли, но рейды после них не прекращались, и тем более они были бы совершенно напрасны, если бы арабам удалось-таки захватить их главную цель – Константинополь. В 674 году они напали на город с моря. Крупный флот халифата прошел через Дарданеллы и захватил город Кизик на берегу Мраморного моря, от которого можно было добраться до Константинополя. В Кизике к флоту присоединилось войско, которое шло на встречу с ним через Малую Азию. Там флот провел несколько лет, в летние месяцы вступая в сражения с византийскими судами недалеко от стен Константинополя. Возможно, эти испытания на прочность так и продолжались бы неизвестно сколько, но византийцам удалось получить преимущество с помощью необычного оружия. Экипажи арабских судов вдруг заметили, что на кораблях их противников, на носу, появились странные торчащие трубки. И уж, конечно, они никак не ожидали, что эти трубки вдруг издадут могучий рев и из них вылетит пламя. Этот огонь невозможно было погасить, он горел и в воде, грозя быстро охватить любой корабль, на который попадет.