Но даже после всего этого латиняне могли бы сохранить лояльность византийских подданных благодаря своей ауре непобедимости. Однако и этот миф был разрушен всего лишь через год после их прихода к власти. В начале 1205 года недовольная византийская знать во Фракии восстала против латинского господства, и император Балдуин отправился туда, чтобы осадить их крепость Адрианополь. В отчаянии византийцы обратились за помощью к старому врагу, правителю независимой Болгарии Калояну. Болгарский царь двинулся на юг с войском половецких конных лучников. Когда началось сражение за Адрианополь, закованные в латы западные рыцари поначалу с презрением отнеслись к половцам, одетым в грубые полушубки из овчины и вооруженным только маленькими луками. Несмотря на приказ об обратном, рыцари ринулись на врага. Тем самым они дали половцам возможность применить их излюбленную тактику: изобразить бегство, а затем неожиданно остановиться, развернуться к нарушившим боевой порядок преследователям и обрушить на них град стрел. Напуганные этой неожиданной хитростью, некоторые латиняне бежали с поля боя, но император Балдуин и его рыцари решили не отступать и один за другим были подстрелены. Людовик де Блуа и Стефан дю Перш, которым так недавно достались Никея и Филадельфия, были убиты, а Балдуина взяли в плен и увезли в столицу Калояна Тырново, после чего его никто уже не видел живым. Но еще долго ходили ужасные рассказы о постигшей его участи: говорили, что Калоян отрубил ему руки и ноги и приказал сбросить его со скалы в ущелье. Три долгих дня Балдуин мучился в агонии, не в состоянии пошевелиться, пока птицы клевали его тело.
На престоле Балдуина сменил его брат Генрих, и Латинской империи удалось выстоять, хотя по ее престижу был нанесен сокрушительный удар. Византийцы всегда восторгались военным мастерством латинян, но теперь, когда те показали свою слабость, сопротивление им начало крепнуть. Большая часть Малой Азии, Греции и Западных Балкан до сих пор не была под их властью, и в этих областях латинян уже не встречали приветствиями. Жители города Пруса, в отличие от Фессалоник, отказались открыть ворота, когда к ним подошла армия латинян. Поначалу сопротивление возглавили некоторые из тех же самых местных феодалов, которые бросили вызов династии Ангелов, такие как Феодор Мангафас в Филадельфии и Лев Сгур в Греции, но у них было мало сил, и их мятежи были подавлены даже после катастрофы под Адрианополем. Мангафаса разбил Генрих Фландрский в сражении при Адрамитии в 1205 году, а Сгура Бонифаций Монферратский осадил в крепости Акрокоринф, что возвышается над городом Коринфом. После пяти лет осады отчаявшийся Сгур совершил самоубийство, направив свою лошадь в пропасть. Но к тому времени появились два других лидера, более успешных в сопротивлении латинянам. В Эпире, на западе Греции, Михаил Ангел, двоюродный брат императоров Исаака II и Алексея III, объявил себя правителем города Арта, а Феодор Ласкарис, зять Алексея III, основал свое государство в Никее в Малой Азии. Их поддержали представители бывшей элиты, покинувшие Константинополь. На берегах озера Никея даже выросло небольшое поселение из лачуг этих беженцев, которые в 1204 году потеряли все.