Император сам множил число своих врагов. Иоганна Фридриха Саксонского он вначале приговорил к смерти, затем под давлением своих приближенных сохранил пленному курфюрсту жизнь, но отнял у него все владения и передал их герцогу Морицу. Ландграф Гессенский, женатый на дочери Иоганна Фридриха, активно заступался за тестя и был по приказу Карла брошен в тюрьму. Герцогу Ульриху Вюртембергскому император приказал на коленях молить о пощаде. Возможно, именно пережитые унижения, а не военный разгром, заставили протестантских вельмож вновь вернуться к мысли о сопротивлении и мести надменному монарху. Одним из немногих благородных поступков Карла V той поры был отказ, которым он ответил на предложение герцога Альбы выкопать из могилы тело Лютера и сжечь его. «Оставьте его в покое, — ответил император, — у него теперь другой Судья. Я воюю с живыми, а не с мертвыми».
Впрочем, даже такой, озлобленный и жестокий, Карл, в отличие от папы Павла III и других ультракатоликов, занимал по отношению к протестантизму достаточно гибкую позицию. Павел III хотел большего и, не предупредив императора,
перенес заседания собора из Тридента, находившегося в пределах империи, в итальянскую Болонью. Карл был разгневан и назвал папу «упрямым,стариком».
Постепенно победа императора оборачивалась очередным поражением. Отношения с Римом были испорчены, католические субъекты империи испытывали к Карлу V все большее недоверие, протестанты же, отделавшись уступками и неопределенными обещаниями признать будущие решения вселенского собора, после Мюльберга никак не могли питать к императору теплые чувства. Попытки Карла довести до конца административную реформу в империи, сделав ее устройство более централизованным, натолкнулись на дружное сопротивление и католической, и протестантской сторон, равно не желавших дальнейшего усиления габсбургского дома. Наконец, в 1552 г. возобновилась война с Францией: король Генрих II горел желанием отомстить за поражения, которые Карл нанес его отцу.
В том же году произошло событие, сыгравшее роковую роль в судьбе императора. Мориц Саксонский, изменивший Карлу, объединился с группой протестантских князей, собрал значительные силы и вторгся в пределы Австрии. Карлу впервые в жизни пришлось не просто отступать, а бежать перед противником, занявшим Инсбрук. Правда, успехи протестантов этим и ограничились, и летом в Пассау начались мирные переговоры. Обе делегации — императора и мятежников — склонялись к компромиссу, но Карл, измученный войной и болезнями, оттягивал заключение мира, полагая, что это нанесет непоправимый ущерб его чести. Тем временем на французском фронте императорская армия не сумела взять крепость Мец и, потеряв более половины солдат, сняла осаду. Дела Карла шли все хуже, и он уехал в Брюссель, фактически передав правление в империи брату Фердинанду.