Примерно через год сама аббатисса советует Жанне написать королю письмо с просьбой разрешить покинуть монастырь и вернуться к нормальной жизни. Ей всего 32 года, и потом она вовсе не создана для монастырской жизни, Ей дают такое разрешение, но с условием, что она не приблизится ко двору или Парижу ближе, чем на расстояние в 10 лье. Следовательно, ей нельзя вернуться в Лувсьенн.
На деньги, полученные в результате продажи дома в Версале, госпожа Дю Барри покупает замок Сен-Врен, красивый дом, где она очень скучает, несмотря, на то, что некоторые из ее друзей отваживаются ее здесь посетить. Больше всего ей хочется снова вернуться в свой прелестный Лувсьенн, теперь она живет только воспоминаниями,
В 1776 году Жанна решается написать министру Морепа письмо с очень трогательной просьбой дать ей разрешение вернуться туда. На сей раз она его получает.
«Ваша милость, после столь длительной немилости Вы имеете право на высочайшее снисхождение. Отныне Вы можете как жить в Лувсьенне, так и беспрепятственно въезжать в Париж», — отвечает Морепа. Уже через десять минут начинаются сборы в дорогу…
Вернувшись в свой дом, к дорогим ей вещам, коллекции картин и утонченному изяществу, госпожа Дю Барри как будто заново рождается. Впрочем, она прекрасно понимает, что прошлого не вернуть, и в первое время она ведет почти одинокую жизнь, полную воспоминаний. Но у нее слишком много друзей, чтобы такая жизнь длилась долго. Вскоре сюда приезжают старые знакомые, к которым присоединяются еще и неизвестные, жаждущие познакомиться с женщиной, окутанной легендой. Среди первых гостей в Лувсьенн прибывает император Иосиф II, брат Марии-Антуанетты, который, прогуливаясь с госпожой Дю Барри, утверждает, что «красота всегда будет королевой». Помимо других иностранцев ее навещает и король Швеции.
Один из гостей, лорд Генри Сеймур, живущий в Пор-Марли, влюбляется в нее, и эта страсть передается и ей. Два года Жанна живет с ним, приближая этим свой конец. Элегантный создатель карточного клуба оказывается ревнивым, нетерпимым, даже жестоким человеком. Он вынуждает Жанну жить жизнью женщины из гарема, что вызывает разрыв. Тем более что графиня снова повстречалась со старинным другом, который вскоре станет большой, истинной любовью в ее жизни: герцог де Бриссак, губернатор Парижа и полковник швейцарской гвардии. Он на 20 лет старше ее, но обладает невероятным очарованием и изяществом. В сочетании с рыцарски благородным сердцем, чем заслужил прозвище «странствующего рыцаря». Однако вскоре это становится всеобщим достоянием, хотя влюбленные делают всё возможнее, чтобы сохранить свои отношения в тайне.