Рудольф нежно любил свою мать, императрицу Елизавету, и она горячо любила сына. А уважение кронпринца к отцу-императору постепенно сменилось отчуждением.
Франца Иосифа, впрочем, больше беспокоили не политические взгляды сына, о которых он не имел полного представления, а его личная жизнь. В 1881 году Рудольфу нашли невесту — принцессу Стефанию, дочь бельгийского короля Леопольда II. Кронпринц поначалу был доволен женой и отзывался о ней восторженно — как о «единственном человеке, на чье понимание я могу рассчитывать».
Однако принцесса не снискала симпатии венского двора, а Елизавета, смотревшаяся молодо и грациозно на фоне своей грузной невестки, дразнила Стефанию «дромадером»; и только Франц Иосиф относился к бельгийской принцессе с приязнью.
В 1883 году у молодых родилась дочь, названная в честь императрицы Елизаветой — Эржи, как на венгерский лад звали ее дед и бабушка. Но любимый ребенок не сблизил супругов. У Стефании было достаточно поводов устраивать сцены ревности. Рудольф имел успех у женщин, вел рассеянный образ жизни; рассказывали о его романах с русской аристократкой и с двумя австрийскими княгинями, не считая мимолетных связей. К тому же он много времени проводил в кругу друзей и на охоте. После кутежей кронпринц часто отсыпался у своей постоянной любовницы Мицци (Марии) Каспар. Эта куртизанка ничего не просила у кронпринца; пожалуй, Рудольф больше ценил ее как близкого и преданного друга. Это была почти узаконенная связь.
Постепенно отношения Рудольфа и Стефании разладились окончательно. Принцесса была женщиной, с одной стороны, консервативно настроенной и властолюбивой (в старости, в 30-е годы XX в., она выпустила мемуары под названием, звучащим, как печальный вздох о несбывшемся — «Я должна была стать императрицей»), с другой стороны — гордой и твердой, не намеренной прощать мужу его сомнительные похождения. К тому же Рудольф заразился венерической болезнью, которая передалась и Стефании, из-за чего супруги уже не могли иметь детей. Болезнь привела к окончательному охлаждению между ними.
Наследник австрийского и венгерского престолов быстро катился по наклонной плоскости. Пропасть между ним и отцом углублялась, по Вене ходили слухи о крупных ссорах Франца Иосифа с сыном (одна из них была якобы вызвана дебошем и оргией, устроенной Рудольфом и группой молодых аристократов, среди которых находились члены императорского дома, в отеле в Зальцбурге). Кронпринц пил, его поведение становилось все менее уравновешенным и предсказуемым. Он не переставал мечтать о реформах, о том, как, став императором, все изменит, но сам чувствовал, что этим мечтам, видимо, не суждено стать реальностью — не только из-за отца, который не собирался ни умирать, ни отказываться от власти, но и в силу того, что здоровье самого Рудольфа быстро ухудшалось. Он страдал болями в суставах, бессонницей, у него то и дело воспалялись глаза, болело сердце… Боли Рудольф глушил алкоголем, к которому впоследствии прибавился морфий. К 30 годам кронпринц представлял собой человека, чье физическое и психическое состояние не давало надежд на долгую жизнь.