Однако почти сразу стало ясно, насколько опасны могут быть латиняне. За их услуги всегда надо было платить. С утратой столь многих территорий после 1180 года налоговые поступления в имперскую казну сократились, и, казалось, неисчерпаемый источник золота, приманившего так много великих воинов на службу Византии, оскудел. Еще в 1187 году, когда Конрад Монферратский спас Исаака II от Алексея Враны, его латинским войскам отплатили тем, что отдали им на разграбление поселения за пределами городских стен. Тогда итальянский маркграф был обижен скромностью вознаграждения, предложенного ему Исааком, и покинул Константинополь. Те же трудности возникли и сейчас. Алексей IV обнаружил, что запасов византийской казны хватает на то, чтобы заплатить крестоносцам и венецианцам лишь часть того, что он сгоряча наобещал. Он собрал для них все, что мог, даже конфисковал драгоценную церковную утварь, но этого было мало.
На этом этапе крестоносцы могли бы довольствоваться уже полученным и покинуть город. В конце концов, никаких дел в византийской столице у них не было, и, более того, Папа запретил им идти на Константинополь. Но их запасы были на исходе, и уже наступила зима, когда переход в открытом море мог быть опасен. Поэтому они ждали и вопреки всему надеялись на то, что Алексей IV предоставит им все, что обещал. Их надежды истаяли в январе 1204 года, когда Алексей IV и Исаак II был свергнуты в результате дворцового переворота, организованного царедворцем по имени Алексей Мурзуфл. Новый император, Алексей V, сразу же приостановил все платежи флоту и армии латинян и приготовился защищать Константинополь.
Возможно, византийцы надеялись, что нападения не последует. В конце концов, крестоносцы и венецианцы по-прежнему были связаны клятвой бороться с неверными и освободить Гроб Господень. Действительно, многие в армии крестоносцев чувствовали, что обратить свое оружие против христианского города означало бы предать эту клятву. Однако их сомнения были развеяны священниками, сопровождавшими армию. Они заверили воинов в том, что, поскольку византийцы были раскольниками, действовавшими против Крестового похода, напасть на них было вполне праведным делом. Венецианский флот уже стоял в Золотом Роге, и его кораблям оставалось лишь подплыть к стенам и атаковать наиболее уязвимый их участок.
Когда в апреле 1204 года начался захват Константинополя, византийцы все еще демонстрировали странную двойственность, которая всегда отличала их отношение к латинянам. Многие из них называли западноевропейцев варварами и раскольниками, но сопротивление оказывали довольно-таки вялое. Вероятно, защитники города по-прежнему воспринимали происходящее как продолжение борьбы между двумя претендентами на престол, а не как нападение иностранных захватчиков и потому не видели причин биться не на жизнь, а на смерть. Серьезный отпор крестоносцам у морских стен дали, как всегда, лишь латиняне, находившиеся на службе у Византии: английские и датские наемники. А византийские войска таяли, едва крестоносцы начинали одерживать верх. Один солдат из Пикардии пробивался через задние ворота, разрубленные топорами, и, когда он замахнулся мечом на защитников, все они разбежались. Когда же победоносные крестоносцы ворвались на улицы города, некоторые приветствовали их криками: «Святой император маркграф!». Эти горожане явно думали, что предводитель Крестового похода Бонифаций, маркграф Монферратский и брат Конрада, станет новым византийским императором. Многие продолжали верить в это даже тогда, когда крестоносцы начали грабить город, не щадя и церкви. В конце концов, это было ожидаемо. Войско Никифора Фоки сделало то же самое в 963 году, а латинские наемники Алексея I – в 1081-м. Без сомнения, многие надеялись, что, когда пыль осядет, все вернется на свои места.