Разумеется, не все приветствовали приход латинян к власти. Те, кто управлял империей прежде, теперь оказались изгнаны, обездолены, лишены друзей. Бежавший Алексей III Ангел был пойман Бонифацием Монферратским и отправлен как пленник в Италию. Недолго царствовавший Алексей V Мурзуфл, который в апреле 1204 года, прежде чем бежать во Фракию, в последний момент пытался организовать сопротивление латинянам, был схвачен и предан смертной казни: его сбросили с колонны Феодосия, самой высокой в Константинополе. Видя, что при новой власти места для них нет, многие царедворцы и советники, прежде служившие династии Ангелов, через несколько недель после захвата города начали покидать его. Но и в пути, продвигаясь по сельским дорогам, они не встречали сочувствия. Фракийские крестьяне не упускали случая понасмехаться над теми, кто когда-то издевался над ними и душил их налогами, а теперь сам терпел лишения.
Правда, прежняя элита недолго пребывала в замешательстве. Те византийцы, которые приветствовали латинян, вскоре обнаружили, что новая власть не менее алчна, чем прежняя, но не умеет принимать чужаков, поощрять их и обращать себе на службу. Первыми это открытие сделали жители Фракии и Македонии. Стоило Бонифацию Монферратскому стать правителем Фессалоник, и его доброжелательность испарилась. С населения взимались тяжкие поборы, лучшие дома отобрали и передали рыцарям маркграфа. Но даже и тогда некоторые из видных горожан надеялись найти себе место в новом мироустройстве. Они пришли к Бонифацию и попросили зачислить их в его войско. Тот с презрением отказал им. С такой же просьбой они обратились к императору Балдуину. Результат был тем же. Латиняне не нуждались в «изнеженных греках».
Кроме того, приспособиться к переменам большей части населения империи мешал затянувшийся раскол между византийской и католической церквями. Этот разрыв стал еще больше от того, как армия латинян повела себя в захваченном Константинополе в апреле 1204 года. Так называемые крестоносцы не просто разграбили церкви. Они ворвались в собор Святой Софии, вломились в алтарную часть и похитили священные сосуды – дискос и потир. Сняли золотое и серебряное покрытия с дверей и ограждений и привели в храм ослов, чтобы увезти на них награбленное. Уникальное собрание мощей из храма Богородицы Фарской в Большом дворце также было разграблено и в большинстве своем вывезено на Запад. Терновый венец оказался в Париже, а Мандилион из Эдессы исчез без следа. Это был не просто грабеж, это было святотатство. Константинопольский патриарх бежал из города, и латиняне заменили его своим патриархом, венецианцем Фомой (Томмазо) Морозини, и торжественно объявили, что расколу положен конец. Часть византийского духовенства еще надеялась, что их религиозные традиции могут быть продолжены и в правление латинян. Они даже направили Папе Иннокентию III послание с предложением созвать церковный собор, чтобы покончить с расколом, и просьбой о том, чтобы у них был свой, грекоговорящий, патриарх. В 1206 году группа священнослужителей встретилась с Морозини и папским легатом, чтобы обсудить все это. От них в резкой форме потребовали подчиниться законному патриарху, Морозини. Когда же они возразили, тот взревел: «Вы должны принять меня! Вы упрямы, и мы будем относиться к вам так, как вы того заслуживаете!» Верный своему слову, он закрыл многие из церквей Константинополя. За этим последовало массовое бегство византийского духовенства из города в провинции.