Позднее Елизавете приписывали любовные связи с британским офицером Бэем Миддлтоном, с которым во время поездки по Англии она совершала длительные верховые прогулки, с неким загадочным красавцем-графом, который одно время появлялся в ее свите, и даже с королем Баварии Людвигом II — еще одним романтиком на троне, который к концу жизни сошел с ума и в 1886 г. утопился в озере, что стало сильнейшим ударом для Сиси... Однако сведения о романах Елизаветы почти наверняка можно отнести к разряду светских сплетен: судя по всему, императрица была весьма холодной дамой и в сексуальном, и — во многих отношениях — эмоциональном плане. До конца жизни у Елизаветы так и не появился настоящий душевный контакт ни с Рудольфом, ни со старшей дочерью Гизелой. В 1873 г. 16-летняя Гизела была выдана замуж за баварского принца Леопольда, причем во время свадебной церемонии императрица сделала все возможное, чтобы затмить дочь красотой и нарядом и привлечь к себе всеобщее внимание, что ей вполне удалось.
Впрочем, трудно всерьез осуждать Сиси. Она просто не была создана для семейной жизни, поскольку оставалась психически нестабильным человеком. Неустойчивость ее нервной системы доставляла наибольшие страдания ей самой. Постоянные недомогания, которые испытывала императрица во время своего нечастого пребывания в Вене, явно носили характер невроза: стоило ей удалиться из нелюбимой столицы, как словно по волшебству исчезали куда-то навязчивая анорексия и головные боли, вновь появлялись силы и интерес к жизни... Она любила одиночество, но не могла подолгу оставаться на одном месте, а потому колесила по Европе, вызывая толки и пересуды в политических кругах и аристократических салонах разных стран. Главными психологическими проблемами императрицы были меланхолия и душевная неудовлетворенность. Так, очарованная красотой греческого острова Корфу, она уговорила Франца Иосифа построить там для нее великолепную виллу Ахиллеон, но, пробыв на ней очень недолго, уехала и впоследствии просила императора продать Ахиллеон.
‹‹...Она думала прежде всего о себе. С удовольствием пользовалась выгодами, которые приносило ее высокое положение, но не желала исполнять обязанности, связанные с этим положением» (Bankl Н. Nemoci Habsburku. Z chorobopisu velke panovnicke dynastie. Praha, 2000. S. 114). Подобные суждения историков и беллетристов звучат слишком категорично, хоть и не лишены оснований. Сиси действительно ненавидела церемонии и приемы, стремилась как можно реже появляться рядом с мужем на официальных мероприятиях, что часто ставило Франца Иосифа в неудобное и неприятное положение (за спиной императора раздавались злые шуточки о «соломенном вдовце»). Однако вряд ли мотивом действий императрицы был сознательный протест или холодный эгоизм. Елизавета стремилась к свободе, но не могла найти ее — не потому, что габсбургский двор был для нее «золотой клеткой», а потому, что тюрьму представляла собой ее собственная душа. Романтический ореол, по сей день окружающий фигуру Сиси, не позволил многим писавшим о ней высказать «крамольную» мысль: императрица была психически не совсем нормальна, и именно это послужило главной причиной краха семейной жизни австрийской монаршей четы. Франц Иосиф, реалист до мозга костей, человек долга, который обладал невероятной самодисциплиной, доходившей до самоотверженности, был полной противоположностью Сиси, с детства привыкшей к жизни «птиц небесных, иже не сеют и в житницы не собирают». Отклонения в психике императрицы превратили эту привычку в странный образ жизни, от которого она не могла, да и не хотела избавиться.