Красивое ухаживание лорда Эленборо пробудило в девушке романтическую жажду любви, которая вроде бы не была обманута в первые месяцы совместной жизни. Но затем супруг полностью погрузился в политическую жизнь, пропадая дни и ночи в парламенте, сочиняя речи, участвуя в бесконечных совещаниях и совершенно пренебрегая женой. Джейн, огорченная таким небрежением, к тому же вскоре узнала, что у него есть любовница в Брайтоне, где молодожены провели медовый месяц. Предоставленная сама себе, она завела любовника. Им стал ее двоюродный брат, полковник Джордж Энсон. В отрочестве Джейн была по-детски влюблена в кузена, на 8 лет старше ее, теперь любовь юных дней возродилась с небывалой силой. Джордж вырос в беспутного красавца, вовсю прожигавшего жизнь во время отпусков в Лондоне. На правах родственника он сопровождал Джейн при выездах в свет, но не сказать, чтобы разделял ее чувства, хотя молодая женщина была по уши влюблена в него. Поскольку она все еще изредка делила ложе с мужем, родившийся младенец Артур официально являлся законным наследником Эленборо, хотя сама Джейн была твердо уверена в том, что он был сыном Энсона. Ребенка отправили на свежий воздух в поместье родителей Джейн, где в возрасте двух лет он скончался.
После рождения сына роман с Джорджем окончательно угас, что повергло Джейн в депрессию, из которой ее вывела интрижка с библиотекарем Фредериком Мэдденом в поместье деда. Тот впоследствии опубликовал воспоминания, в которых описал свои переживания от секса с леди Эленборо, сходные с ощущениями от «внезапно налетевшего урагана». Но скромный библиотекарь не мог дать простора страстям, бушевавшим в душе Джейн, тем более что ее любви стал настойчиво добиваться атташе посольства Австрийской империи в Великобритании, князь Феликс цу Шварценберг (1800–1852), отпрыск одного из самых знатных и богатых немецко-богемских семейств. Князь действовал весьма напористо, и леди Эленборо быстро сдалась. Вначале любовники скрывали свою связь, молодая женщина навещала его особняк на Харли-стрит, пряча лицо под густой вуалью, но постепенно они утратили осторожность. Сосед увидел в окно князя, зашнуровывавшего корсет Джейн, носильщик в гостинице в Норфолке, где они рискнули провести ночь, узнал их и написал письмо лорду Эленборо. Влюбленная Джейн отказала супругу от ложа под тем предлогом, что боится забеременеть, но вскоре забеременела от Феликса. Выдать этого ребенка за дитя Эленборо было невозможно.
Тем временем слухи о связи Шварценберга с женой английского парламентария достигли ушей его начальства, меньше всего желавшего, чтобы дипломат запятнал свою карьеру связью с замужней женщиной. Ему было приказано возвратиться на родину. Джейн стала упрашивать мужа разрешить ей уехать за границу для лечения нервного расстройства, а на самом деле для тайных родов. Муж отказал. Тогда Джейн вбила себе в голову, что князь – единственный человек, за которого она хотела бы выйти замуж и решила последовать за ним за границу. Родители умоляли ее не совершать этого рокового шага, но Джейн не терпела никаких возражений, и переубедить ее оказалось невозможно. Эленборо не оставалось ничего другого, кроме как затеять бракоразводный процесс, что в то время было невероятно трудным и дорогостоящим предприятием. После развода он выделил бывшей супруге очень приличные деньги, которые подлежали выплате до конца ее дней. Больше лорд Эленборо не женился, хотя сменил несколько любовниц и наплодил целую ораву внебрачных детей.