Но самые известные заключенные пришли сюда из Фронды: знаменитый герцог Бофор, король площадей, сын Цезаря Вандомского, бежавший после трех лет заточения при помощи веревочной лестницы, спрятанной в огромном пироге. Потом новые Конде: сначала самый великий, знаменитый победитель Рокруа, его брат Конти и его зять Лонгвиль. И, чтобы закончить, в 1652 году — главный вдохновитель Фронды знаменитый кардинал Рец.
Придя к власти, Мазарини решил, что Венсенн сможет сослужить хорошую службу, если поместить там сокровища. Но зная, что он не сможет один занять королевские владения, он достраивает Павильон Короля, а потом и Королевы. При помощи Ле Во разбивает великолепный парк с водопадами и каскадами, доходящими до Сены. Смерть не дала ему реализовать этот грандиозный; проект. Он умер в Венсенне 8 февраля 1661 года на первом этаже Павильона Короля (сегодня это Военный архив, тогда как в Павильоне Королевы — Морской). Известно, что Людовик XIV предпочитал Сен-Жермен и, главное, Версаль, который он уже держал у себя в голове. Он решил, что донжон станет подходящим жилищем для суперинтенданта Фуке, арестованного после его слишком роскошного праздника в Во и ожидавшего суда в обществе его личного охранника д'Артаньяна, капитан-лейтенанта мушкетеров.
Все закончилось с королевской пышностью. Оставаясь временной резиденцией иностранных государей и тюрьмой, он стал еще и убежищем для некоторых предприятий: фарфоровой фабрики и школы кадетов.
Среди его заключенных были: Дидро, Мирабо, страстно увлеченный Софи де Моннье, знаменитый Латюд — мировой рекордсмен по побегам, наконец, вышедший оттуда через дверь.
Революция превратила замок в пороховой завод, поместив в Павильоне Короля девочек для развлечений. Но час драмы уже приближался. Драмы, о которой Талейран скажет: «Это скорее преступление, чем ошибка».
Вечером 20 марта 1804 года в 5 часов 30 минут во двор въехала закрытая карета в окружении всадников. В ней находился тридцатидвухлетний молодой человек. Это был еще один Конде. На этот раз последний.
Луи-Антуан-Анри де Бурбон-Конде, герцог Энгиенский, пойманный пятью днями раньше, вопреки всем законам, ценой нарушения границы, в Эттингейме, в маленьком городке, где он мирно жил. Он жил там со своей морганатической супругой, несмотря на сопротивление старого Конде, Шарлоттой де Роган, племянницей известного кардинала де Рогана, который и дал убежище молодой чете. Похищение, руководимое генералом Улином, было организовано по приказу Бонапарта, видевшего в принце главную фигуру роялистской партии.