В назначенный срок императрица родила дочь. Пока роженица приходила в себя, новорожденную, даже не посоветовавшись с матерью, нарекли Софией и тут же унесли в апартаменты свекрови. Подобно российской Екатерине II, единолично воспитывавшей своих внуков, София отбирала у молодой четы каждого рожденного ребенка. Родители допускались в детские комнаты лишь на краткое время и под бдительным присмотром фрейлин и самой Софии. Летом 1856 года Елизавета родила еще одну девочку, названную Гизелой. Но и ее также унесли в апартаменты свекрови. Появление на свет второй девочки вызвало в придворных кругах чуть ли не печаль: все ждали наследника престола, ведь ни один из братьев императора пока не обзавелся потомством, и будущее династии оставалось довольно неясным. И тут взбунтовавшийся Франц Иосиф категорически заявил матери о своем крайнем недовольстве вмешательством в его семейную жизнь и о том, что отныне дочери будут жить с родителями. К тому же он потребовал у матери соблюдения уважения к той, которую он любит всем сердцем. Впервые за время замужества победа осталась за Елизаветой, но победа эта была пирровой. Отчетливо поняв, что она лишается былого влияния на сына, София вообще перестала скрывать свою враждебность к невестке. Отношения между ними стали невыносимыми. Елизавета пыталась бунтовать, и, в конце концов, ей удалось уговорить мужа взять двух дочерей в поездку по Венгрии. Судьба жестоко отомстила Сиси за «самоуправство» — старшая дочь София, ее первенец, умерла во время этого путешествия. В любимом и без конца снившемся Елизавете Поссенхофене Франц Иосиф просто не узнавал свою печальную затворницу. Она была бесконечно счастлива и буквально сияла от переполнявшей ее радости. Расписывать же свою «счастливую» жизнь во дворце она была вовсе не намерена. «Ах, Елена, радуйся, — сказала она сестре, — я спасла тебя от очень невеселой участи и отдала бы все, чтобы прямо сейчас поменяться с тобой местами». А как же муж? Ведь в нем столько благородства, такта, терпения и любви к ней! А та не проходящая боль, с которой Елизавета думала об отнятой у нее дочери? Назад дороги не было, а впереди — снова Вена, неумолимая свекровь и бесконечная, иссушающая душу вражда…
Лишь чрезвычайные события ненадолго сгладили открытую неприязнь. Как уже упоминалось, в 1858 году умерла старшая дочь молодой императрицы София. Для Елизаветы это было особенно сильным ударом, поскольку именно она — вопреки воле эрцгерцогини Софии — настояла на том, чтобы обе дочери сопровождали императорскую чету в поездке. Девятнадцатилетняя Елизавета винила себя в смерти ребенка, начала задумываться о самоубийстве, отказалась от пищи. Это едва не добило несчастную Елизавету. Франц Иосиф, видя, что душевные силы жены на пределе и опасаясь за ее жизнь, решил увезти ее на родину. Потрясенная императрица несколько месяцев не могла прийти в себя, причем смерть старшей дочери имела парадоксальные последствия для двух других детей — Гизелы и родившегося в 1858 году Рудольфа, по отношению к которым мать долгое время сохраняла удивительную холодность и отчуждение.