Каковы бы ни были лучшие черты королевского характера и его прежние цели по отношению к своим королевству и герцогству, по мере того как он становился старше, его репутация ухудшалась. Должно быть, управление людьми стало казаться ему неблагодарным занятием, и он все меньше беспокоился о том, чтобы смягчать суровость своих вассалов. Его взаимоотношения с домочадцами всегда были островком света в его суровой тяжелой жизни, но со временем даже любимая жена Матильда перестала оказывать ему поддержку и огорчала его, защищая их беспокойного сына Роберта, который был ее любимцем. Роберт и его мать правили Нормандией, когда он был еще ребенком, а его отец находился в Англии. Они, похоже, впоследствии всегда были союзниками, даже когда Роберт вырос и потребовал прав на Нормандию, что разозлило его отца. Немедленный отказ привел отпрыска в такое бешенство, что он стал объезжать королевские дворы Европы, жалуясь на проявленную несправедливость. Он увлекался музыкой и танцами, тратил уйму денег, которые королева всегда готова была высылать ему. У него был дар нравиться, хотя на большее он был неспособен.
Впоследствии Вильгельм обнаружил, что существует тайный посланник, который доставляет запрещенные передачи строптивому принцу. К счастью, гонцу удалось укрыться в монастыре по соседству. Он облачился в соответствующую одежду и, можно надеяться, искренне принял монашеский обет. Вот что рассказывает Ордерик Виталий о встрече, состоявшейся между королем и королевой: "Кто же в мире, — вздыхал король, — может надеяться найти верную и преданную жену? Женщина, которую я любил всей душой и которой доверял королевство и сокровища, поддерживает моих врагов, обогащает их моей собственностью, тайно вооружает их против моей чести, возможно, желая погубить меня". Матильда отвечала: "Не удивляйся, умоляю тебя, потому что я люблю моего первенца. Будь Роберт мертв и окажись он в могиле на глубине семи футов под землей, если моя кровь могла бы вернуть его к жизни, она бы потекла к нему. Как я могу наслаждаться роскошью, в то время как сын испытывает нужду? В моем сердце нет жестокости! Ты не властен заглушить любовь материнского сердца". Хроникеры уверяют, что король не наказал королеву, а между тем Роберт ссорился с братьями и выказывал открытое неповиновение отцу. Тем не менее он всегда встречал сочувствие со стороны матери.
Вскоре обнаружилось, что король Франции готов, из зависти к могуществу Вильгельма, поддержать его сына. Роберт укрылся в одном из замков Франции и при каждом удобном случае совершал разорительные вылазки в Нормандию. Во время одного из таких набегов Вильгельм напал на него. Отец и сын сражались друг против друга, не зная об этом, до тех пор пока король не был сброшен с лошади, в чем Роберт впоследствии публично покаялся. Спустя какое-то время (когда вступились бароны), уступив мольбам и стенаниям Матильды, Вильгельм согласился на примирение. Он даже сделал сына своим наместником в Нормандии и Бретани.