Государственный переворот 18 Брюмера знаменует собой падение Барраса, и ему приходится продать Гробуа за половину реальной стоимости генералу Моро, сопернику Бонапарта, одному из самых замечательных полководцев.
Моро тоже женится на креолке, очаровательной Евгении Юло, и, предавшись страсти, мечтает подарить ей этот почти королевский замок. Супруги проведут там несколько великолепных месяцев, но Гробуа еще никогда долго не был подвластен женщине. Моро, ослепленный ненавистью к Бонапарту, позволяет вовлечь себя в королевский заговор генерала Пишегрю, который часто тайно наведывался в Гробуа. С его помощью однажды ночью в. январе 1804 года на бульваре Мадлен Моро знакомится со знаменитым бретонским заговорщиком Кадуалем. Очень быстро они нашли общий язык, но Моро порой не может понять своего более чистого душой и более благородного собеседника. Моро хочет работать исключительно на себя, а не на Бурбонов. И вот, спустя месяц, он изобличен, арестован и препровожден в Храм.
Несмотря на серьезную опасность, Бонапарт ведет себя снисходительно: Моро, с семьей будет отправлен в Америку. Став императором, Наполеон выкупает его владения за их настоящую цену, но не для себя.
«Сообщите госпоже Бернадотте, что я передаю ей особняк на улице Анжу, и сообщите Бертье, что я дарю ему Гробуа», — заявляет он Фуше, который и сам не прочь завладеть замком, ибо у него остались о нем самые хорошие воспоминания.
Маршал Бертье, вступив во владение Гробуа, привозит с собой не супругу, а супружескую пару, маркиза и маркизу Висконти, с которыми он и ведет хозяйство. Анжела Висконти, красивая, но уже в возрасте, наделена невыносимым характером. Ревнивая, как тигрица, и слишком суетливая, она выходит из себя из-за того, что ее не приглашают в Тюильри.
И действительно, придворный мир закрыт для нее по воле императора. Сказать, что тот ненавидит маркизу, значит ничего не сказать: он питает к ней отвращение. Даже госпожа де Сталь занимает лишь вторую ступеньку на лестнице неприязни.
В свое время Висконти остановила на нем свой выбор и преследовала его своими ухаживаниями с такой страстью и таким упорством, что Наполеон в конце концов попросил Бертье избавить его от нее. Несчастному это удалось ценой собственной страсти, вспыхнувшей у него к этой женщине, к большому неудовольствию Бонапарта, не предполагавшего такого поворота.
С тех пор недовольство императора не уменьшается, так как Бертье теперь повсюду с четой Висконти, живущей у него. И только по высочайшему приказу маршал, став принцем де Нешателем и ожидая титул принца де Ваграма, 9 марта 1808 года женится на женщине, достойной его — принцессе Елизавете де Бавьер-Биркенфельд.