Окружавшие Роберта товарищи подталкивали его к восстановлению справедливости. Ночью эта компания молодых людей покинула гостеприимный дом и направилась в Руан, цитадель которого Роберт попытался захватить внезапным налетом, однако получил от гарнизона достойный отпор. Тогда он бежал в Перш, где нашел прибежище у Гуго де Шатонёфа, сочувствовавшего пресловутой Мабиль де Беллем. Феодальные интриги вновь сотрясали этот приграничный регион, в котором многие сеньоры являлись вассалами короля, поскольку часть своих доменов они держали как королевские пожалования. Гуго предоставил свои замки Сорель и Ремалар в распоряжение Роберта и его товарищей, молодых рыцарей, принадлежавших к самым древним нормандским родам. Горячие, отважные, с нетерпением искавшие случая показать свою силу и расточавшие ее в не суливших ничего хорошего авантюрах, они, едва выйдя из детского возраста, стряхнули с себя все ограничения, налагаемые дисциплиной. Отсюда проистекали их дружба, взаимное доверие и одинаково разгульная жизнь. Отныне они на долгие годы будут неразлучны.
Король конфисковал земли мятежников и направил на усмирение своего сына графа Ротру, сюзерена Гуго де Шатонёфа. Роберт, не выдержав натиска, бежал во Фландрию, однако граф Фландрский Роберт отказался прийти к нему на помощь. Отряду золотой молодежи пришлось удалиться, но вместо того, чтобы загладить свою вину, они продолжили развеселую жизнь, на протяжении почти двух лет переезжая в компании трубадуров, музыкантов и девиц легкого поведения от одного двора к другому, где их хорошо принимали, но старались поскорее спровадить с глаз долой. Однако чтобы вести такой образ жизни, нужны были деньги, а где их взять? Королева Матильда, разрывавшаяся между супругом и сыном, старалась не замечать вины последнего и тайком снабжала его деньгами, которые извлекала из королевской казны, хранившейся в замках Кана и Фалеза, поскольку, будучи регентшей герцогства, имела доступ к ней. Вильгельму вскоре открылась эта растрата государственных средств, явившаяся страшным ударом как по доверию, которое он всегда питал в отношении своей жены, так и по его самолюбию. Душевные муки породили в нем ярость. Между супругами разыгрался страшный скандал. Вильгельм велел доставить к себе связного Матильды с Робертом, бретонца по имени Самсон, и приказал выколоть ему глаза. Однако добрые люди помогли несчастному скрыться, и он, охваченный страхом, бежал в монастырь Сент-Эвруль, где и принял монашеский постриг. Пребывавшая в полном отчаянии Матильда обратилась, как рассказывает Ордерик Виталий, к некоему популярному тогда германскому прорицателю, ответ которого, как всегда достаточно туманный, казалось, предвещал катастрофу...