С каждым месяцем принцесса все острее чувствовала свое одиночество. К королю и королеве ее не допускали, дядя Леопольд был всецело поглощен своими неотложными делами в Бельгии, а полукровная сестра Феодора проживала в Германии. Виктория оказалась полностью изолированной в Кенсингтонском дворце и ощущала себя совершенно беззащитной перед жестким порядком Джона Конроя, безропотно поддерживаемым ее матерью. Баронесса Шпэт, которая верой и правдой служила герцогине около четверти века, была уволена за то, что посмела подвергнуть сомнению целесообразность и эффективность «кенсингтонской системы». Словом, она пыталась хоть как-то помочь несчастной принцессе и пострадала за это. А во дворце уже решили, что скоро настанет время избавиться и от назойливой опеки герцогини Нортумберлендской, которая также пыталась ослабить негативные последствия правления Джона Конроя. В то же самое время в окружении герцогини Кентской появилась новая придворная леди — Флора Гастингс, дочь первого маркиза Гастингса.
Кроме того, во дворце предпринимались серьезные меры по увольнению или по крайней мере уменьшению влияния на принцессу со стороны баронессы Лецен. С ней стали обращаться вызывающе грубо и бесцеремонно, надеясь на ее добровольный уход. Однако это лишь привело к усилению привязанности принцессы к своей любимой гувернантке. «Я никогда не смогу в полной мере отплатить ей за все то, что она для меня сделала, — вспоминала позже Виктория. — Она была для меня самым верным, самым преданным и самым любимым другом». А чуть позже принцесса назвала ее своим «ангелом-хранителем и любимой мамочкой Лецен, которую я безгранично люблю». Именно поэтому принцесса с угрюмым удовлетворением, хотя и не без некоторого смущения, восприняла решение короля, который всегда симпатизировал баронессе Лецен, не допустить Джона Конроя к обряду конфирмации принцессы Виктории в королевской церкви. Причем это решение было принято на том основании, что свита герцогини слишком многочисленна. В тот день Виктория была особенно нарядной в своем белом, украшенном ажурными кружевами платье и симпатичной шляпке с розовыми краями. Разочарованная чрезмерно нравоучительной службой архиепископа Кентерберийского, гнетущей атмосферой королевской церкви, которая казалась просто невыносимой в тот жаркий июльский день, а еще больше гневными тирадами матери по поводу неподобающего поведения короля, принцесса Виктория вернулась во дворец и разразилась горькими рыданиями.
В этот же самый день, 30 июля 1835 г., принцесса Виктория получила от своей матери письмо с довольно резкими замечаниями в адрес баронессы Лецен. Мать самым решительным образом потребовала от нее изменить отношение к гувернантке, то есть обращаться к ней более формально и без каких бы то ни было заверений в любви и преданности. Для этого вполне достаточно, по словам матери, обращаться к баронессе с достоинством и дружескими чувствами, но не более того. «Вплоть до 21 года или по крайней мере до 18 лет, — добавила при этом герцогиня, — ты должна полностью подчиняться руководству своей любимой матери и друга».