Как и Арле де Санси, сначала он преданно служил Генриху IV, стал губернатором кучи провинций, а затем и графом д’Алем, женившись в Пезенасе на симпатичной дочке де Монморанси. Однако любил он не ее, любил он ее сводную сестру Генриетту д’Антраг, ставшую любовницей Генриха IV в надежде однажды получить корону Франции.
Генриетта была отпетой интриганкой, и Шарль поддерживал ее во всех начинаниях: он даже устроил заговор против короля, когда тот женился на Марии Медичи. Приговоренного к смерти Шарля в последний момент спасла его тетя Диана Французская, которая завещала ему герцогство Ангулемское. Но герцогу пришлось провести в тюрьме еще четырнадцать лет. Из Бастилии его в 1619 году вызволил король Людовик XIII, после чего тот, соскучившись по вольным просторам, сразу же купил Гробуа.
Как уже было сказано, он с рвением посвятил себя своим владениям, куда часто приезжал поохотиться сам король. С ним Гробуа наконец-то познал прелести светской жизни. Новый хозяин любил принимать гостей, уважал искусство. Жена разделяла его взгляды, и они вели размеренную жизнь, лишь изредка прерываемую визитами ее «любимой» сестры, дородной женщины, ставшей маркизой де Вернёй. Из-за ее смерти Шарль переживал больше, чем из-за смерти жены. Однако после всего этого он продолжал держать во дворце одну или двух любовниц, потому что, несмотря на возраст, он оставался красивым и привлекательным мужчиной: высоким, черноволосым, с печальными глазами, в которых время так и не погасило яркий огонь.
Он сохранил такой успех у женщин, что в возрасте семидесяти одного года женился на двадцатиоднолетней красотке. Пятьдесят лет разницы не стали помехой двум влюбленным, потому что Франсуаза де Нарбонн была без ума от своего жениха. Да и тот не отставал. В первый раз за долгое время он влюбился как мальчишка, чье сердце бешено стучит в груди, охваченный надеждами и глупыми страхами. Чтобы оставить воспоминания о свадьбе, хозяин Гробуа заказал художнику Абрахаму Боссу роспись на стенах большого зала, сейчас служащего столовой. На ней можно увидеть супругов на свадебном балу во всем их блеске. Они жили счастливо на протяжении шести лет, пока 24 сентября 1650 года Шарль Ангулемский не скончался в своем парижском доме.
В начале XVIII века хозяином Гробуа опять стал один из Арле, но из родственной ветви. Однако тот был так же оригинален, как и предыдущий. Ашилль де Арле, граф де Бомон и первый председатель парижского парламента, был «маленьким худым энергичным человеком с ромбовидным лицом, большим орлиным носом и красивыми пронизывающими глазами, которые видели человека насквозь». К тому же он был умен. На первых же заседаниях парламента Ашилль де Арле обрел уважение коллег. Читая доклад, он заметил, что часть слушателей спит, а другие говорят о чем-то своем, даже не понижая голоса. Тогда он прервал выступление и посреди наступившей тишины сказал: