Усилия Мануила как-то улучшить внешнее положение империи дипломатическими способами лишь пробудили подозрения со всех сторон, а высокие налоги вызвали недовольство среди населения Византии. Видимо этим объясняется случившийся в Константинополе погром с массовым убийством латинян-поселенцев и им сочувствующих. Это произошло сразу после смерти Мануила, хотя подстрекателем был, несомненно, Андроник I, который таким образом отнял трон у законного наследника, 12-летнего сына старого друга Мануила, Алексея II. Тот должен был стать императором при регентстве своей матери, рожденной на Западе, Феодоры. Андроник сначала был объявлен соправителем, а несколько месяцев спустя удавил несчастного Алексея. С этого зверского убийства началась политика преследования аристократии. Нет сомнений, что она была во многом оправданна, но осуществлялась жестокими способами. Крупные землевладельцы прибегли к вооруженному отпору, и в стране разразилась гражданская война. Этим воспользовались латиняне, которые атаковали Византию с Запада. Сербы и венгры повели успешные кампании на Балканах. Норманны захватили Фессалонику. Хотя подавление аристократии Андроник сочетал с реформами налоговой системы, которая должна была облегчить участь народа, он отменил цирковые игры, а потому стал крайне непопулярным: ему одному неизбежно приписывали все беды. В 1185 году толпа напала на него и растерзала.
В свое время дочь Алексея I вышла замуж за члена семейства Ангелов. Их внук Исаак II (1185–1195) взошел на престол. О нем говорили, что государственные посты он продавал, как овощи на рынке, но, видимо, покупателей он подбирал с толком, потому что при нем положение на границах улучшилось, в 1185 году были разбиты норманны, а в 1190 году разгромлен Стефан Неманя, господарь Сербский, хотя Сербию вежливо признали независимым государством. В 1195 году, когда Исаак снова вел войну, он был низложен с престола и ослеплен братом Алексеем III (1195–1203), при котором дела пошли еще хуже. Царствование Алексея III отличалось невероятной пышностью двора при поразительной некомпетентности и нечестности управления. Все это, вместе взятое, погубило государство. В 1195 году болгары разгромили византийскую армию. Преемник Барбароссы, Генрих VI, готовился к широкомасштабному нападению с Запада, но внезапно умер. Именно тогда прозвучал призыв папы к новому Крестовому походу. Частично поэтому, частично из-за обещаний, данных Венеции сыном низложенного Исаака Ангела Алексеем, в надежде с иноземной помощью завладеть троном, а возможно, из-за честолюбивых устремлений самой Венеции, огромная армия отправилась к Константинополю.