В то же самое время Джон Конрой окончательно решил завоевать расположение сестры короля Георга IV принцесса Софии, которая занимала апартаменты в Кенсингтонском дворце. Она была на девять лет моложе Конроя и, проживая в Виндзорском дворце во время политического могущества ее отца, влюбилась в генерала Гарта, конюшего отца, и втайне от всех родила от него ребенка. Конрою не стоило большого труда очаровать эмоционально неуравновешенную, впечатлительную и умственно неразвитую женщину и не только установить контроль над ее финансами, но и завладеть домом в Кенсингтоне за четыре тысячи фунтов стерлингов, загородным домом Эборфилд-Холл близ Рединга и имением в Уэльсе за 18 тысяч фунтов стерлингов.
Принцесса София, чья щедрость, как тогда говорили, во многом объяснялась умением Джона Конроя оказать положительное влияние на ее незаконнорожденного сына — капитана Гарта, назначила Конроя своим неофициальным представителем, а потом неоднократно обращалась к своему брату, королю, с просьбой войти в положение герцогини Кентской. Король, который обожал своих несравненных сестер, отреагировал на это незамедлительно: Луиза Лецен была произведена его величеством в баронессу Ганноверскую, а Джон Конрой был возведен королем в рыцари Ганноверского ордена.
Однако сэр Джон Конрой, успешно завоевавший доверие герцогини Кентской и принцессы Софии, потерпел сокрушительное поражение в своих усилиях добиться расположения принцессы Виктории, к которой он относился без надлежащей серьезности. А дети, как известно, не любят насмешливого к себе отношения. Он говорил, что она походит на герцога Глостерского, одного из самых непопулярных членов ее семьи. Более того, он не упускал случая посмеяться над ее бабушкой, королевой Шарлоттой, напоминая о том, что именно у нее принцесса Виктория переняла все замашки и в особенности привычку копить карманные деньги на черный день. Кроме того, он часто дразнил ее за ту наивность, которую она проявляла в отношении окружающих ее людей, и говорил, что она должна забыть о своих амбициях и не обращать внимания на его шутки.
В конце концов принцесса Виктория возненавидела Джона Конроя. Герцог Веллингтон совершенно искренне считал, что причиной этой ненависти стало не отношение Конроя к девочке, а то, что она была свидетельницей его «несколько фамильярных» отношений с матерью. Когда Чарльз Криви деликатно заметил герцогу, что, по его мнению, герцогиня является любовницей Конроя, тот не стал с ним спорить и сказал, что и сам так думает.
В последующие периоды жизни Виктория решительным образом отметала все предположения, что ее мать и Джон Конрой могли быть любовниками, и, вне всяких сомнений, была по-своему права. И тем не менее ее неприязнь к Джону Конрою приобрела стойкий характер, а чувства матери к своему официальному представителю самым серьезным образом омрачали отношения между матерью и дочерью. В такой же степени эти чувства повлияли и на некогда дружеские взаимоотношения с дочерью Конроя, глупой, неинтересной девочкой и единственной ровесницей Виктории, с которой та позволяла себе общаться.