Недели семейной идиллии выпадали на долю Франца Иосифа совсем нечасто. Характер его супруги, отмеченный многими странностями, с течением времени отнюдь не улучшался. Длительный конфликт Елизаветы с матерью императора, эрцгерцогиней Софией, привел к тому, что Сиси, никогда не чувствовавшая себя в Вене дома, стала все чаще уезжать из столицы. В жизни императрицы было несколько увлечений: путешествия, верховая езда, забота о своей внешности, Венгрия и поэзия Генриха Гейне. К несчастью для Франца Иосифа, ему не удалось попасть в число увлечений собственной жены. В этом, наверное, был отчасти виноват и он сам: неизменно любящий, но сухой и сдержанный, к тому же постоянно занятый государственными делами, император вряд ли мог вызвать страсть у такой романтической особы, как Сиси. Гораздо привлекательнее для нее был иной тип мужчины — горячий, эмоциональный, остроумный, взрывной… Воплощением всех этих качеств являлся граф Дюла Андраши, во многом обязанный своей великолепной карьерой той симпатии, если не сказать больше, которую к нему питала императрица. Вокруг отношений Елизаветы и Андраши ходило немало слухов, но скорее всего все ограничилось платонической влюбленностью Сиси в статного венгра.
Постоянным предметом беспокойства Франца Иосифа стало всевозрастающее желание жены как можно реже бывать в Вене, которая была для нее подобием тюрьмы. Велением судьбы обреченная на существование, ограниченное этикетом, слишком давно лишенная обязанностей, Сиси будет скитаться более двадцати лет. Однажды, собрав чемоданы, она уедет в Англию, потом в Ирландию и в Нормандию, чтобы принимать участие в псовых охотах и скачках; часто она садилась на корабль для поездки на Корфу или в какой-нибудь другой уголок средиземноморья. Только в восьмидесятых годах XIX века Елизавета оставила верховую охоту, но зато посвятила себя другим «сумасбродствам» (по меньшей мере в глазах двора), прежде всего спиритизму. Она стала чаще встречаться со своим родственником — королем Людвигом II Баварским, которого тоже трудно было назвать уравновешенным человеком. Кроме того, Елизавета уделяла внимание литературе, ее считали большим знатоком творчества Гейне, и даже обнаруживала склонность к республиканским идеям. Находясь в Вене, она жила на вилле «Гермес», а на Корфу, будучи в восторге от Греции (она даже выучила греческий язык), императрица построила замок Ахиллейон. С возрастом она становилась все более замкнутой, избегала и опасалась людей, не позволяла себя фотографировать и путешествовала по Европе инкогнито. Конечно, она вынуждена была возвращаться в ненавистную ей Вену для участия в больших балах или некоторых церемониях, от которых невозможно было отказаться, тем более что Франц Иосиф не прекращал посылать ей нежные письма. Чтобы как-то охладить его пыл и освободиться от супружеских обязанностей, она поощряла романы своего мужа. Как только представлялась возможность, Елизавета ездила в родную Баварию, особенно в свой любимый Поссенхофен, где жила ее семья, чтобы побыть подальше от двора.