Оппозиция Генриху IV формировалась под руководством родственника короля швабского герцога Рудольфа. Саксонские и южнонемецкие герцоги использовали кризис для того, чтобы освободиться от Генриха, применявшего абсолютистские методы правления. Однако значительная часть епископов держала сторону Генриха. Мятежные феодалы вызвали Григория на рейхстаг, назначенный на начало февраля 1077 года в Аугсбурге, чтобы там провести суд над королем. Генрих понял, что ему удастся спасти свой трон только в том случае, если он опередит события и получит от папы отпущение грехов. Поэтому в конце 1076 года он вместе с женой, ребенком и своими епископами переправился через Альпы. В это время Григорий готовился к поездке в Германию, чтобы на заседании рейхстага принять участие в переговорах с курфюрстами. Генриху удалось воспрепятствовать этому, разыграв спектакль «хождения в Каноссу».
В январе 1077 года Григорий находился в неприступной горной крепости, Каноссе, принадлежавшей тосканской маркграфине Матильде. Столько раз упоминавшаяся историографами, поэтами и драматургами сцена трехдневного стояния Генриха в одежде кающегося грешника перед крепостными воротами означала в действительности победу униженного короля над папой: Генрих, без оружия, с женой и ребенком, в сопровождении нескольких епископов появился у стен крепости. После трехдневного покаяния, которое, вопреки общему мнению, Генрих совершал вовсе не босиком и в рубище, а в одежде кающегося грешника, накинутой поверх королевского одеяния, папа, главным образом по настоянию аббата из Клюни Гуго и Матильды, вынужден был отпустить грехи Генриху и ввести короля вместе с его епископами в церковь (28 января 1077 года). Григорий действительно не мог не признать соответствующее канонам покаяние и отказать королю в отпущении грехов. Возвращение Генриха в лоно церкви означало и то, что он вернул себе свое королевское достоинство. Против папы обратилось его же собственное оружие, из которого Генрих выковал свое счастье. Григорий в Каноссе потерпел поражение.
Однако германские герцоги не стали ждать папу, их не заботило происшедшее в Каноссе. В марте 1077 года они избрали нового короля в лице швабского герцога Рудольфа. Рудольф обещал сохранить выборный характер королевской власти и не делать ее наследственной. Сепаратистские силы Германии сплотились вокруг идеи выборной королевской власти против Генриха, отстаивавшего абсолютизм. Возвращенный в лоно церкви Генрих, не слишком заботясь о клятве в Каноссе, сразу же привлек на свою сторону ломбардских епископов, быстро преодолев Альпы, возвратился домой и начал борьбу с Рудольфом. Генрих в Каноссе вновь получил свободу рук, чтобы расправиться с внутренней оппозицией. Общество в Германии и Италии раскололось на две партии: на партию папы и партию императора. Население городов в Германии поддерживало Генриха, ожидая, что он сможет обуздать феодалов. В Италии же поддерживали Григория против немцев. Высшее германское духовенство разделилось в зависимости от того, кого больше боялись: короля или папы. А герцоги, графы меняли свои позиции в зависимости от того, где они могли получить больше владений. Борьба между двумя лагерями проходила с переменным успехом. Вначале папа Григорий не определял своей позиции и не поддерживал ни одну из сторон, ибо он был заинтересован в ослаблении королевской власти. Но когда в 1080 году стало ясно, что победа за Генрихом, папа вновь вмешался. На соборе, собравшемся в пост, была окончательно запрещена светская инвеститура. После того как Генрих не утвердил этого решения, он вновь был отлучен от церкви. Папа, извлекший урок из Каноссы, признал Рудольфа законным королем и направил ему корону с надписью «Petra dedit Petro, Petrus diadema Rudolfo» («Скала дала Петру, Петр — корону Рудольфу»). Генрих с приближенными к нему епископами созвал в Бриксене собор, на котором Григорий VII был вновь низложен и отлучен от церкви. Новым папой Климентом III (1080–1110) был избран равеннский архиепископ Вибер, руководитель ломбардских епископов, выступавших против Григория.