Благодаря этим процессам, с 1220-х годов возвращение имперской столицы стало казаться вполне достижимой целью. К тому же в 1216 году латинский император Генрих умер, а его преемники правили недолго и неэффективно. Латинские территории за пределами столицы резко сократились, и власть в Константинополе держалась только благодаря венецианцам, которые обороняли город и снабжали его с моря. Но, хотя стало очевидно, что рано или поздно Латинская империя рухнет, было не ясно, какой из двух соперничающих византийских императоров положит ей конец. Между Артой и Никеей началась словесная война. В Никее утверждали, что император в Арте фальшивый, потому что был коронован всего лишь архиепископом. Придворные в Арте отвечали на это, что коронация Феодора Ласкариса была недействительна, потому что ее провел так называемый патриарх, который был к тому же архиепископом Никейским. Этот спор мог длиться еще долго, но последовавшие события сделали его ненужным. В 1230 году император Эпира поссорился с болгарским царем Иваном Асенем II. Его опрометчивое вторжение в Болгарию завершилось поражением и захватом в плен в битве при селе Клокотница, а также потерей большей части территории. В 1241 году правитель Эпира отрекся от императорского титула и ограничился тем, что стал именоваться деспотом, то есть верховным правителем. Теперь только император Никеи мог претендовать на лидерство в кампании по изгнанию латинян. При правлении Иоанна III (1221–1254 гг.), который пришел к власти, женившись на дочери Феодора Ласкариса, Никея значительно расширила свою территорию. В 1246 году был захвачен город Фессалоники. Властвуя над большей частью земель вокруг утраченной столицы, Иоанн III, казалось, готов был взять и главный приз, но тут этот выдающийся император скоропостижно скончался. Его сын и преемник Феодор II правил всего четыре года и оставил трон семилетнему Иоанну IV. Кампания по возвращению Константинополя застопорилась, и латинский император продолжил царствовать, обедневший, но зато оставленный в покое, в Большом дворце Константинополя.
* * *
В последний год своей жизни, во время военного похода во Фракию император Никеи Иоанн III узнал, что один из его молодых подданных мог вести тайные переговоры с болгарским царем и правителем Эпира. Император был тем более встревожен этим известием, что речь шла о Михаиле Палеологе, который вырос во дворце и которого Иоанн воспитывал как собственного сына. Беда была в том, что Михаил обладал всеми качествами, необходимыми для потенциального узурпатора. Его семья, покинувшая Константинополь после захвата латинянами, состояла в брачном родстве с Комнинами и Ангелами, так что Михаил мог притязать на престол по праву рождения. Он даже выглядел как император и, хотя ему не было 30, успел проявить себя как умелый управитель, когда Иоанн назначил его стратигом недавно завоеванных городов Серре и Мельник. Он также был хорошим воином, и его любили солдаты, в том числе латинские наемники, без которых не обходился ни один захват власти. Палеолога схватили и привлекли к императорскому суду, но показания с чужих слов против него оказались сомнительными, и он был оправдан. Чтобы показать, что не держит на него зла, Иоанн отдал замуж за Палеолога свою внучатую племянницу Феодору и назначил его командовать латинскими наемниками.