Первоначальная влюбленность Сиси во Франца Иосифа давно прошла, все сильнее вырисовывалось несходство интересов пары. Конфликты, возможно, были вызваны неверностью Франца Иосифа и обострились после рождения Рудольфа. Реакцией Елизаветы стал протест: она все сильнее предавалась своей страсти — верховой езде. В 1860 году она даже вернулась к родителям в Поссенхофен, где перенесла тяжелую болезнь. Для лечения императрице пришлось поехать на юг.
Итак, в двадцать один год Сиси, мать троих детей, лишенная любых проявлений свободы, ненавидимая своим окружением, поняла, что может сохранить рассудок и жизнь, лишь бежав из Вены. Поэтому, сославшись на легочное заболевание, она впервые с момента замужества оставила Вену, чтобы побыть на солнце, анонимно, далеко от двора. Сиси действительно серьезно заболела: чахотка не щадит и обитателей дворцов… Она уехала на остров Корфу, где и провела большую часть своей жизни. Там и произошла встреча императрицы с венгерской цыганкой, слывшей на острове настоящей прорицательницей. Говорят, старая гадалка поведала Елизавете о страшном роке, витающем над ее семьей. Сиси вернулась в свои апартаменты глубоко подавленная, вся в слезах. «Все мы умрем страшной смертью…» — повторяла она услышанное от цыганки. Она оставалась на Корфу несколько месяцев, несмотря на взволнованные и ежедневные письма Франца Иосифа.
В 1862 году Елизавета вернулась в Вену, но болезнь и разногласия с Францем Иосифом омрачили это пребывание, равно как и конфликт вокруг воспитания престолонаследника — эрцгерцога Рудольфа. В то время как Франц Иосиф и его мать выступали в пользу военной стези, Елизавета хотела воспитывать сына в более либеральном духе, причем ей удалось отстоять свою точку зрения. К этому времени она прониклась особой симпатией к венграм и сыграла немалую роль в достижении компромисса с ними. Ненавидя представительские обязанности в Вене, императрица много времени проводила на своем венгерском конном заводе в Гёдёллё. Там она могла удовлетворить как свою страсть к верховой езде, так и свое предпочтение — более непринужденному обществу. Сплетни при венском дворе вызывали ее поездки в Англию и Ирландию, участие в парфорсной охоте и эксцентричные поступки вроде предоставления своей дочери Марии Валерии в качестве товарища по играм «уродца-мавра».
Потом в течение более чем тридцати лет она не прекращала свои дальние поездки, для этого у нее появилась специальная яхта, ей построили очень красивое жилище на Корфу, ее любимом острове. Она появлялась при венском дворе помолодевшая, с ожившим взглядом, чтобы тут же вновь потонуть в душевной нестабильности, из-за которой по Европе уже пошли слухи о ее сумасшествии. Она принуждала себя к жестким режимам, часами занималась конным спортом, гимнастикой или прогулками быстрым шагом; во что бы то ни стало Сисси стремилась выглядеть безупречно. Тем не менее было бы ошибочным описывать первые годы супружества Франца Иосифа и Елизаветы в исключительно мрачных тонах. Можно сказать, что они не были, но бывали счастливы. Сама Сиси, считавшая себя поэтессой и оставившая довольно обширное собрание стихотворений (по большей части подражательных, навеянных творчеством Генриха Гейне, фанатичной поклонницей которого была императрица), посвятила не одну прочувствованную строку «прекрасным минувшим годам». Любила ли она Франца Иосифа? По-своему — несомненно, однако разница характеров и огромное количество обязанностей, которые взвалил на себя император, мешали их взаимопониманию. Достаточно твердый в политике, Франц Иосиф всегда уступал жене, оправдывал ее причуды и странности и до самого конца их более чем сорокалетнего супружества вел себя как образцовый муж.