Она была бы совершенно счастлива, если бы не постоянное нытье герцогини. Выяснения отношений с этой истеричной женщиной, стремящейся вернуть себе прежнее положение и пристроить Конроя при дворе, вызывали у Виктории спазмы желудка. Она хотела как можно быстрее переехать из Кенсингтонского дворца. Но куда? Сент-Джеймсский дворец казался ей слишком мрачным, Виндзорский находился слишком далеко. В конце концов она остановила свой выбор на Букингемском дворце, где до нее не жил ни один монарх. Этот дворец был куплен у герцога Букингема Георгом III, затем по приказу Георга IV был перестроен и расширен и стал называться «New Palace»[17]. В большинство комнат там провели газовое освещение, но сами помещения были неудобны для жилья. Пришлось пробивать там новые двери и строить новые лестницы. Переезд был назначен на 13 июля, но строительные работы затягивались. Виктория не хотела ничего слушать и отправила собственноручно составленную записку, в которой объявляла, что собирается переехать, как и планировалось, 13 июля, это вызвало панику у рабочих, и им пришлось заканчивать ремонт в авральном режиме.
«Бедный старый Кенсингтон» оставил в ее душе столь тягостные воспоминания, что она не захочет появляться там в течение последующих тридцати лет. «Самым трудным для меня было сохранять хладнокровие, когда я начинала сердиться, а они никак не оставляли меня в покое», — призналась она Мельбурну. В Букингемском дворце она приказала пробить дверь между своей спальней и спальней фрейлейн Лецен, а матери отвела самые дальние покои. «У меня больше нет будущего, я теперь никто», — причитала герцогиня. Дочь с матерью по-прежнему завтракали за одним столом, но в течение дня гордая герцогиня должна была испрашивать разрешение у Виктории на встречу с ней и часто в ответ на свою просьбу слышала одну и ту же фразу: «Я занята». Потоки упреков удвоились. «Виделась с матерью… какую сцену она мне устроила!.. Получила письмо от матери. Ох уж эти ее письма!» Герцогиня не могла даже выместить свою злобу на Мельбурне, поскольку премьер-министр вел себя с ней подчеркнуто вежливо и бесстрастно. «Одумайся, Виктория, ведь лорд Мельбурн не король», — злилась тираничная немка.
Когда королева призналась ему, что не любит мать, лидер вигов кивнул головой: «Мне еще не доводилось встречать подобных сумасбродок». В своем дневнике Виктория была вынуждена признать его правоту и добавила в заключение: «Как же мы оба смеялись!» Тем не менее премьер-министр не советовал ей враждовать с матерью: «Это будет плохо воспринято общественным мнением».