В 1861 г. брат императора, великий князь Константин, отмечает в дневнике, что можно наблюдать, как Александр II прогуливается в парке своей императорской резиденции в сопровождении княжны Александры Долгорукой. Император позволил себе в качестве оправдания сослаться на интерес, проявляемый девушкой к аграрной реформе, и моральную поддержку, которую она ему оказывала в этом вопросе на фоне более сдержанной реакции придворных. Если только подобная идиллия и существовала, она длилась до 1865 г. Слухи распространялись в окружении императрицы, что очевидным образом ее задевало и вкупе с ухудшающимся состоянием здоровья в скором времени заставили покинуть монарха и отправиться на лечение на Лазурный берег или водные курорты Германии, время от времени возвращаясь в Россию, суровый климат которой подтачивал ее здоровье, и находя утешение в религии и активной благотворительности.
Еще до смерти наследника, в отношениях императорской четы не все было благополучно; но это трагическое событие, вместе с прибытием принцессы Дагмары ко двору, способствовало тому, что императрица окончательно отстранилась от супруга и светской жизни. Салон Марии Александровны, собиравший за несколько лет до этого толпы придворных, где до поздней ночи продолжались карточные игры, оживленные разговоры и концерты, постепенно приходил в запустение. Несомненно, императрица, женщина со вкусом, по-прежнему собирала вокруг себя представителей ближнего круга, таких как поэт П. А. Вяземский, но темы для разговоров отныне выбирались серьезные. Жадная до развлечений молодежь группировалась вокруг «малого двора» великой княгини Марии Федоровны и радость окончательно покинула сердце императрицы.
Будучи зрелым 45-летним мужчиной, император сохранял образ внимательного мужа. Но за этим фасадом происходили глубокие перемены, причиной которых, вероятно, во многом стала смерть сына. В Смольном институте, где воспитывались девушки из знатных фамилий, случай однажды свел его с совсем молоденькой девушкой, едва достигшей совершеннолетия, Екатериной Долгорукой. По странной случайности она носила ту же фамилию, что и девушка, некогда бывшая императорской фавориткой. К тому же она принадлежала к тому самому роду, что и князья Долгоруковы, только к другому его, более древнему, ответвлению. Она носила то же имя, что и другая Екатерина Долгорукая, которая в XVIII в. была невестой юного царя Петра II, умершего в 16-летнем возрасте накануне свадьбы. Не было ли это предупредительным знаком? На этот раз обеспокоенность императрицы была не напрасной. Со времен той самой свадьбы, которая не состоялась в XVIII в., Долгоруковы имели репутацию амбициозных людей, мечтавших воспользоваться упущенной тогда возможностью. Ветвь фамилии, к которой принадлежала Екатерина, не слишком в этом преуспела, что являлось для императрицы дополнительной причиной для опасений. Придворные с сочувствием сообщали ей о встречах между стареющим монархом, замкнутым в себе и имевшим очевидные признаки нездоровья, и совсем юной девушкой. Их прогулки в парках столицы и Царском Селе учащались, а вместе с ними росло любопытство и множились сплетни. Император менялся на глазах. Из человека, пребывавшего с апреля 1865 г. в подавленном состоянии, обидчивого, апатичного, проявлявшего мало интереса к государственным делам и ведущего невеселые разговоры о людской неблагодарности и тех сложностях, на которые наталкивались его преобразования, он за несколько месяцев превратился, если и не в энергичного молодого человека, то по крайней мере, в моложавого на вид собеседника, улыбающегося, вернувшегося к активному образу жизни, всегда готовому покинуть двор и отправиться с таинственными визитами.