Но как сын императора Генриха VII и князь империи, Иоанн так или иначе должен был участвовать во внутренней политике Германии, государственного образования, прошедшего долгий и непростой путь. После окончательного распада империи Карла Великого Германия в X в. стала центром политического возрождения каролингских традиций. Германский король Оттон I захватил Италию и в 962 г. объявил себя императором и наследником Карла Великого. Однако империя, которую вскоре стали называть Священной Римской империей, представляла собой рыхлое политическое образование, состоявшее из множества полунезависимых княжеств — Баварии, Австрии, Саксонии, Франконии, Швабии, Каринтии. На протяжении второй половины XII — первой половины XIII вв. императоры из династии Гогенштауфенов, казалось, достигли больших успехов в деле подчинения себе германских князей. Но смерть Фридриха II Гогенштауфена в 1250 г. ввергла Германию в анархию— «великое междуцарствие». Германские магнаты опасались укрепления на троне вновь такой же могущественной династии, как Штауфены, и всеми силами препятствовали возрождению сильной императорской власти. Вторая половина XIII и первая половина XIV вв. прошли в бесконечной борьбе за императорскую корону между многочисленными претендентами. Одновременно с этим германские князья проводили фактически независимую политику в отношении соседей, стремясь за их счет увеличить свои владения. Самыми могущественными из них были баварские герцоги и рейнские пфальцграфы из рода Виттельсбахов и герцоги Австрии из рода Габсбургов, которым было суждено блестящее будущее. Именно с ними Иоанну Слепому пришлось бороться за влияние и власть в империи.
Формально в состав Священной Римской империи входила и Италия, куда каждый выбранный в Германии император должен был отправиться, чтобы получить в Риме из рук Папы императорскую корону. Италия уже давно распалась на ряд автономных или полностью независимых областей. С XII в. итальянские города, с расцветом средиземноморской торговли приобретшие огромное могущество, стали сопротивляться императорской власти, налогам и притеснениям со стороны немцев. Флоренция, Брешия, Лукка постоянно боролись с Папой, императором и между собой. Постепенно в городах выделились сторонники императорской власти (гибеллины) и ее противники, сражавшиеся под знаменем понтифика (гвельфы). Центр Италии подчинялся Папе Римскому. Южная Италия с 60-х гг. XIII в. была во власти неаполитанских королей Анжуйской династии, родственников французских королей.
С XI в. между императором и папством шла ожесточенная борьба за главенство над христианским миром. В ходе этой борьбы обе стороны неоднократно вступали в прямое военное противостояние. Иоанну Люксембургу пришлось считаться с существующими противоречиями и лавировать между императором и папством.