Дерзкое присоединение Болгарии и грабительские завоевательные походы Иоанна в Сирию и Палестину резко контрастировали с той политикой, которую византийцы проводили прежде. При этом он поддерживал ту же атмосферу праведной войны за веру, которая царила в войсках при Никифоре II. Когда в 971 году Иоанн с победой вернулся в Константинополь из Болгарии, во главе шествия на колеснице везли икону Пресвятой Богородицы «Одигитрия», а сам император ехал сзади верхом, таким образом скромно приписывая победу Божьей помощи. Вскоре после этого Иоанн распорядился вместо изображения императора чеканить на бронзовых монетах образ Христа. На Востоке военные кампании Иоанна сопровождались поиском священных предметов и реликвий. Так были обретены сандалии Христа и несколько волос Иоанна Крестителя. В Бейруте была найдена чудотворная икона распятия Христа: она якобы истекала когда-то настоящей кровью, после того как иудей проткнул ее копьем. А когда в 975 году армия подошла к Иерусалиму, Иоанн даже начал мечтать об освобождении Гроба Господня, который с 638 года находился в руках мусульман.
Но сколько бы побед ни одерживал император, он вынужден был постоянно следить за тем, что происходило в Константинополе, центре политической власти. Что могло прийти на ум Василию Лакапину теперь, когда молодой Василий II повзрослел и был готов вступить в свои права? Император обеспокоился, когда его войска проходили через плодородные сельскохозяйственные земли, недавно отвоеванные у арабов, и он узнал, что большинство из них уже стали собственностью Лакапина. Все деньги, потраченные на военные кампании, и все тяготы, которые пришлось перенести его воинам, нужны были лишь для того, чтобы сделать человека, который имел все возможности свергнуть императора, еще богаче и могущественнее. Именно такие соображения, вероятно, заставили Иоанна отказаться от мысли захватить Иерусалим (и он был возвращен лишь во время Первого крестового похода в 1099 г.). Вместо этого осенью 975 года Иоанн вернулся в Антиохию, а оттуда направился в Константинополь. Когда его армия достигла окрестностей города Пруса на западе Малой Азии, император на несколько дней остановился в доме видного сановника. Ему предложили чашу вина, и он неосторожно выпил его, чувствуя себя в доме своего верноподданного в безопасности. На следующий день император почувствовал недомогание: у него началось онемение в конечностях, причину которого врачи установить не смогли. Вместо того чтобы остаться на месте, Иоанн решил любой ценой добраться до столицы, и его телохранитель отправился вместе с ним в сторону Босфора. Было начало января, дули сильные ветры. Когда корабль Иоанна причалил у Большого дворца, императора сразу же перенесли в спальню. Он тревожно спрашивал, готова ли его могила. 10 января 976 года Иоанн умер, и многие считали, что он был отравлен по приказу Лакапина. Однако не менее вероятно и то, что император пал жертвой бича средневековых армий – дизентерии.