Однако даже далеко за пределами Кенсингтонского дворца неприятности преследовали юную принцессу, словно мрачные тени. Леди Кэтрин хорошо ладила с Лецен и именно поэтому считалась во дворце для окружения Джона Конроя «персоной нон грата» и в конце концов вынуждена была покинуть дом герцогини Кентской под надуманным предлогом плохого здоровья. Вскоре та же судьба постигла и герцогиню Нортумберлендскую, которая рассорилась с Конроем из-за письма к королю Леопольду, в котором попросила его принять все меры, чтобы защитить от нападок Конроя баронессу Лецен. Джон Конрой решил, что она тем самым подрывает его авторитет, и вынудил ее покинуть дворец. К тому же совершенно расстроились отношения между принцессой Викторией и острой на язык ближайшей подругой Джона Конроя Флорой Гастингс, а взаимоотношения герцогини Кентской и короля Англии, которые, до этого оставляли желать лучшего, в последнее время и вовсе испортились.
Ситуация еще больше ухудшилась после того, как король решительно отказался принять жену Карла, принца Лейнингенского, невестку герцогини Кентской, на том основании, что она не королевских кровей и именно поэтому по давней традиции не должна иметь открытого доступа к королевскому дворцу. А вскоре после этого король во время торжественной церемонии потребовал от джентльменов из окружения герцогини покинуть Тронный зал на том же основании, что они не принадлежат к королевской крови и посему не имеют привилегии присутствовать на столь важной церемонии, что позволено только леди.
Однако все эти неприятности не шли ни в какое сравнение с тем скандалом, который разгорелся в Виндзорском дворце 21 августа 1836 г. во время празднования дня рождения короля. Незадолго до этого, 13 августа, король пригласил в Виндзорский дворец герцогиню Кентскую и принцессу Викторию для участия в торжестве по случаю дня рождения королевы, а потом попросил их остаться на свой день рождения 21 августа. Герцогиня Кентская, проигнорировав самым неподобающим образом приглашение на день рождения королевы, ответила, что намерена отправиться в Клэрмонт на собственный день рождения 17 августа, но при этом непременно привезет дочь в Виндзорский дворец 20 августа.
Это решение (как сообщил Чарльзу Гревиллу один, из незаконнорожденных сыновей короля, Адольфус Фицкларенс, который находился в это время во дворце) привело короля в бешенство. Однако он не удостоил герцогиню ответом и 20 августа открыл заседание парламента, выразив желание, чтобы его не ждали в Виндзорском дворце к обеду. После начала заседания парламента он отправился в Кенсингтонский дворец, чтобы собственными глазами убедиться в правдивости слов герцогини. Прибыв туда, он с удивлением обнаружил, что герцогиня самовольно заняла семнадцать комнат, которые просила у него в прошлом году, в чем на законных основаниях ей было отказано. Это еще больше усилило его негодование. Вернувшись в Виндзор после столь неприятной инспекции, в значительной степени под влиянием бессонной ночи и многочисленных приступов астмы, он сразу же направился в гостиную, где уже собрались все гости, подошел к Принцессе Виктории, взял за обе руки и выразил глубочайшее сожаление по поводу отсутствия ее ближайшего окружения. Затем он повернулся к герцогине, отвесил ей глубокий Поклон и заметил, что в одном из его дворцов царит совершенно недопустимый произвол, добавив при этом, что только что вернулся из Кенсингтона, где с величайшим сожалением обнаружил, что многие комнаты дворца заняты вопреки его высочайшему повелению, и что не потерпит столь пренебрежительного отношения к своим решениям. Причем все это было сказано громко, на весь зал и с нескрываемым неудовольствием. Однако многим это показалось сущим пустяком по сравнению с той бурей, которая разразилась на следующий день. В воскресенье Адольфус вошел в банкетный зал и нашел короля в необычайном возбуждении. Это был день его рождения, и, хотя празднование было объявлено как частное мероприятие, в зале находилось множество людей, принадлежавших как к королевскому дому, так и к числу близких родственников. Герцогиня Кентская была рядом с королем, а с другой стороны находилась ее сестра. Принцесса Виктория расположилась напротив них. Адольфус сел неподалеку от герцогини и слышал практически все, о чем говорили за столом.