Гордость нормандской знати была уязвлена позорным союзом Роберта с Герлевой. Все его родственники, которые имели хоть какие-то права на герцогскую корону, были вне себя от ярости. У Эстриты не было детей, и этот пухлый розовощекий малыш, который рос в доме кожевника, был заклятым врагом всех этих гордых лордов и джентльменов. Фалез был средоточием скандалов и насмешек. Сплетни о жизни Роберта переносились от деревни к деревне по Нормандии и Франции. Рядовые горожане смеялись в лицо баронам и придворным, когда те проходили по улицам Фалеза. Однажды один старый бюргер, живший по соседству с кожевником, предложил Вильгельму Талвасу, главе одного из самых знаменитых нормандских семейств, пойти с ним посмотреть на сына герцога. Лорд Алансона очень разозлился, когда всмотрелся в невинное детское лицо. Он почти явственно чувствовал те беды, которые обрушатся на его голову и которые таит в себе до поры эта энергичная молодая жизнь. И как ни проклинал он вновь и вновь наивного ребенка, его слова были лишь отголоском страха, который полз по Нормандии.
Роберт был слишком смел в своем полном пренебрежении общественным мнением, и не проходит много времени, как старый кожевник сбрасывает свою одежду, подобно личинке, сбрасывающей кокон, и предстает во всем великолепии, в сверкающем наряде придворного гофмейстера. Герлева заняла место герцогини, что было противозаконно и настолько оскорбило гордость знатных дам и джентльменов, что никакие великодушие и щедрость Роберта не могли противостоять этому. Нравы в то время были достаточно свободными, но общественное мнение требовало соблюдения законов и этикета. Весь аристократический двор потомков Рольфа, вся доблесть, образованность и религиозность Нормандии были оскорблены в мгновение ока. Недовольство нарастало, пока дядя герцога, архиепископ Руана, не призвал племянника к ответу за этот грех и за оскорбление родственников. В конце концов он отлучил Роберта от церкви и предал анафеме всю Нормандию.
Каким-то образом этот конфликт был все-таки улажен, и именно тогда Роберта призвали погасить уже упомянутую ссору во Фландрии и поддержать права французского короля. Успех в этом предприятии добавил к его владениям район Ваксен, расположенный между Нормандией и Францией. В результате нормандское герцогство расширило свои границы до самых стен Парижа. Вскоре другие важные вопросы увели в сторону общественное обсуждение. На то, чтобы спровоцировать вспышку гнева герцога, не оставалось времени. И уже никто не обращал особого внимания ни на досадное присутствие Герлевы в замке герцога, ни на неуместное, по мнению обывателей, благополучное развитие и процветание ее сына.