В Испании Рудольфа обручили с трехлетней дочерью Филиппа II Изабеллой Кларой Евгенией. Дядя готовил его к управлению Испанским королевством, так как после трагической смерти в 1568 году сына, дона Карлоса, у него не осталось прямых наследников мужского пола. Династия Габсбургов находилась в зените своего могущества и боялась упустить «испанское наследство». Однако в 1570 году вторая супруга короля Анна Габсбургская (кстати, родная сестра Рудольфа) родила королю долгожданного сына — также Филиппа, и обещание дяди повисло в воздухе. Более того, много лет спустя, в 1598 году, испанский король обручил любимую дочь с самым младшим братом Рудольфа, Альбрехтом, назначив того еще и своим наместником в Нидерландах. Это была уже настоящая пощечина самолюбию несостоявшегося испанского владыки, после чего даже упоминание об Испании и пиренейских родственниках стало запретной темой при его дворе.
Проведя в Испании 8 лет, весной 1571 года уязвленный восемнадцатилетний Рудольф вернулся в Вену. Отец, император Максимилиан II, увидел в старшем сыне излишнюю жесткость и религиозную нетерпимость, а мать Изабелла, напротив, — редкую в Вене тех лет изысканность и утонченность. Что же касается политических уроков дяди Филиппа Испанского, то Рудольф их хорошо запомнил, и его манера правления отличалась сдержанностью и скрытностью, он вел себя так даже с ближайшими помощниками и родственниками. Кроме того, подобно Филиппу, Рудольф ненавидел путешествия и был закоренелым домоседом.
Отец, уже смертельно больной, приложил немало усилий для утверждения преемственности власти. В условиях усиления конфессиональной вражды в империи и противостояния в совете курфюрстов, где католики и протестанты никак не могли найти общий язык, Максимилиану было крайне важно найти компромиссное решение. И ему удалось убедить курфюрстов-протестантов (их было трое) проголосовать за кандидатуру Рудольфа, пообещав им за это немалые преимущества. 21 сентября 1572 года Рудольф принял венгерскую корону святого Иштвана в Пресбурге (современная Братислава). Через три года настал черед Богемии (Чехии) — 22 сентября 1575 года в соборе Святого Вита на голову Рудольфа была возложена корона святого Вацлава.
Де-факто Рудольф уже был императором, но де-юре он им стал только 2 ноября 1576 года, во время проведения имперского съезда в том же Регенсбурге, после смерти своего отца. Процедура введения в императорское достоинство проходила в городе, где постоянно проводились имперские съезды, то есть изначально подчеркивалось широкое представительство на коронации делегатов от разных сословий и адептов враждующих конфессий. Это были многие сотни гостей, напряженно присматривающихся к фигуре монарха и фиксировавших каждый его шаг. Стоит отметить, что Максимилиан II впервые примерил императорскую корону во Франкфурте, как и преемник Рудольфа II — Маттиас I, а не в Регенсбурге.