Прошел год, и аббатиса предложила Жанне написать Людовику XVI письмо с просьбой покинуть монастырь и вернуться к прежней жизни. На тот момент графине было всего тридцать два года, и она не была еще готова к служению Господу. Вернуться ей разрешили, однако с одним условием: не приближаться к королевскому двору или Парижу ближе чем на два лье. То есть вернуться в Лувсьенн не представлялось никакой возможности.
На деньги от продажи своего дома в Версале она купила замок Сен-Врен, где и стала жить, умирая от скуки, в окружении немногих друзей и близких. Больше всего на свете она хотела вернуться в родной ее сердцу Лувсьенн, пропитанный добрыми воспоминаниями о славном прошлом.
В 1776 году она все же решилась написать соответствующее письмо министру Морепа. К ее величайшей радости, разрешение вернуться в Лувсьенн она получила:
«Кротость и сдержанность, что вы проявили, будучи в немилости, дали вам право на августейшую индульгенцию. Вы можете жить в Лувсьенне и свободно приезжать в Париж», – ответил ей Морепа. Графиня прочла письмо, и уже через десять минут ее служанки собирали вещи…
Вновь обретя свой дом, его ценную мебель, коллекции картин и утонченную роскошь, мадам Дюбарри почувствовала себя заново родившейся. Однако она понимала, что прошлого уже не вернуть, и первое время жила практически в полном одиночестве, наедине со своими воспоминаниями. Но она оставила слишком много друзей, чтобы это одиночество продлилось достаточно долго. Вскоре приятели стали возвращаться к ней, да не одни, а в обществе высоких персон, которые изъявили желание познакомиться с женщиной-легендой. В числе первых был император Иосиф II, брат Марии-Антуанетты. Он приехал в Лувсьенн и во время прогулки с мадам Дюбарри галантно заметил, что «красота всегда будет править». Король Швеции также приезжал в Лувсьенн. Вообще иностранные гости наведывались к Дюбарри довольно часто.
Одним из них был лорд Генри Сеймур, проживавший тогда в Пор-Марли. Мужчина выказывал столько страсти и обожания к Жанне, что та просто не смогла устоять перед его напором. В течение двух лет они жили вместе, пока их насыщенная событиями жизнь не сыграла с ними злую шутку. Изысканный основатель Жокейского клуба оказался ревнивым и даже жестоким собственником. Он хотел, чтобы Жанна вела жизнь затворницы, так что их разрыв был всего лишь вопросом времени. Тем более что графиня отыскала одного своего старинного друга, к которому воспылала настоящей высокой любовью. Этим другом был герцог де Бриссак, парижский губернатор и полковник швейцарской гвардии. Он был на двадцать лет ее старше, но его обаяние, благородство и поистине рыцарские манеры даже снискали ему прозвище «Паладин другой эпохи». Как только де Бриссак и Дюбарри ни пытались скрыть свои отношения, все было напрасно: вскоре об их любовной связи прознали абсолютно все.