Уезжал он, как правило, для того, чтобы дать совет своему зятю Иоанну V Палеологу (правил в 1341–1391 гг.), а остальное время проводил за своим столом. Бывший император писал мемуары, и это занятие было весьма актуально. Ведь византийцы теперь взирали со стен Константинополя на земли, почти полностью потерянные для них. Даже Адрианополь больше не принадлежал империи, а Фессалоники, хотя и оставались византийским городом, были отрезаны от столицы территориями, которыми правили враги Византии. Задача мемуариста была тем более важна, что многие говорили, будто сам Иоасаф был ответственен за то отчаянное положение, в котором оказалась империя, и он очень хотел снять с себя эти обвинения.
* * *
Из монашеской кельи Иоасаф обращал свой взор в ту далекую пору, когда он, Иоанн Кантакузин, рос в одной из старейших и богатейших семей империи. Кантакузины служили еще в армиях Алексея I Комнина и Иоанна III Ватаца, и на их обширных угодьях во Фракии паслись 5000 голов крупного рогатого скота и 70 000 овец. В прошлом они успели породниться с Палеологами, и, как близкие родственники правящей династии, члены семьи часто встречались при дворе в Большом дворце. Неудивительно, что ребенком Кантакузин дружил с Андроником, внуком императора Андроника II, третьим в очереди на престол. В своих мемуарах он утверждал, что дружба мальчиков была столь крепкой, что «обе души действовали вместе». Эта связь стала еще крепче, когда они выросли и Иоанн Кантакузин женился на Ирине, двоюродной сестре Андроника.
Тем, кто, как Кантакузин, жил в Константинополе в первые десятилетия XIV века, могло казаться, что все было почти так же, как всегда. Город выглядел процветающим и преуспевающим. Появились новые здания и произведения искусства. Между 1316 и 1321 годами на средства великого логофета (главного министра) Андроника II, Феодора Метохита, были отремонтированы и реконструированы монастырь и церковь Христа Спасителя в Хоре, близ городских стен, и там была собрана крупнейшая в Константинополе библиотека. Гости города по-прежнему впечатлялись увиденным. Прибывший в византийскую столицу русский паломник Стефан Новгородец и его восемь спутников открыв рты смотрели на высокую колонну с конной статуей Юстиниана на площади Августеон. У Медных ворот их проводник рассказал им, как икона когда-то была снята по приказу «поганого иконоборца». Они стали свидетелями шествия, которое проходило каждый вторник, когда по улицам носили икону Богородицы «Одигитрия». По собору Святой Софии Стефан и его товарищи ходили со слезами радости, и особенно они были счастливы, когда патриарх Константинопольский позволил им приложиться к его руке, потому что «он очень любит Русь». Интересно, что в одном монастыре Стефану и его товарищам показали ларец, запечатанный свинцовой печатью, в котором находились «страсти господни»: византийцы приобрели новые реликвии взамен тех, что были вывезены в период латинского господства. Как и все русские паломники, Стефан поверил всему, что рассказал его византийский проводник, но приехавший с Запада сэр Джон Мандевиль в чем-то усомнился, поскольку знал, что многие святые реликвии, в том числе терновый венец, хранятся в западноевропейских городах. Тем не менее он описал собор Святой Софии как самый лучший и самый прекрасный храм в мире и хвалил Большой дворец за его устройство. А араб Ибн Баттута, побывавший в Константинополе в 1332 году, был поражен размерами города и вспоминал, что, когда во всех церквях зазвонили колокола, само небо содрогнулось.