В то же время осложнились отношения Византии с германскими императорами и зарождавшимся норманнским Сицилийским королевством. Отчасти причиной тому послужили крестовые походы. Крестоносцы не только создали ряд эфемерных государств вокруг Иерусалимского королевства, они стали проводниками интересов западных держав, тем самым неизбежно вторгаясь в сферу традиционных интересов Византийской империи. Иоанн II и Мануил I делали все от них зависящее, чтобы укрепить дружеские отношения с германскими императорами и не дать им выступить в союзе с занявшими Сицилию агрессивными норманнами, противодействуя им и папскому влиянию на Италию и весь регион Адриатического моря. Император Мануил I, проводивший искусную внешнюю политику, позволившую Византии стать ведущей державой региона, успешно использовал также тактику брачных альянсов; однако после его кончины созданная им система быстро распалась. И вскоре позиции империи, не располагавшей достаточными ресурсами, пошатнулись.
К сожалению, у Мануила не нашлось наследников, способных продолжать его дело. Его десятилетний сын Алексей II находился под влиянием матери Марии (дочери франкского короля). Это вызывало враждебность придворных, традиционно не принимавших «латинян», то есть представителей Запада. Эта вражда достигла кульминации в 1182 г., когда Андроник Комнин захватил трон и убил юного Алексея. Положение империи постепенно ухудшалось. Еще в 1171 г. распался ее союз с Венецией, когда Мануил попытался использовать как противовес этому государству Геную и Пизу, а в 1182 г. Андроник устроил резню генуэзских и пизанских купцов и других итальянцев, что настроило эти города-государства против империи. В 1185 г. норманны, воспользовавшись нестроениями в империи, захватили и разграбили Салоники, второй по величине город Византии. Узурпация Андроника дала начало двадцатилетней смуте, сопровождавшейся частыми переворотами. В том же году сам Андроник был свергнут и убит. Вместо него стал править родич Комнинов, Исаак II Ангел (1185–1195), преемником которого стал его брат Алексей II Ангел (1195–1203), в свой черед устраненный Алексеем III. Но в 1203 г. во время Четвертого крестового похода, когда армия крестоносцев подошла к Константинополю, Алексей III потерял трон, и его сменил Алексей IV.
Осложнилось и положение на Балканах. В ходе восстания 1186 г. имперские гарнизоны были разбиты, и Болгария восстановила свою государственную независимость. В 1190 г. Исаак II при попытке подавить восстание болгар потерпел тяжелое поражение. В то же время Сербия, являвшаяся вассалом империи, начала отдаляться от нее, отчасти благодаря войнам Византии с Венгрией. В дальнейшем ситуацию в Болгарии удалось стабилизировать благодаря военным успехам и брачному альянсу, но стало очевидно, что могущество империи подорвано на всех направлениях. К 1196 г. Сербия стала искать политическую поддержку уже не в Византии, а в Риме, и положение в Болгарии сделалось безнадежным. Во время Третьего крестового похода (1189) Кипр был захвачен сначала английским королем Ричардом I, затем — рыцарями Храма (тамплиерами) и, наконец, в 1192 г. — графами Лузиньян.