Его разлучили с матерью. Вскоре после смерти Роберта Арлетта вышла замуж за доблестного и честного рыцаря — Эрлуэна, сеньора де Контевиля, заботам которого, видимо, вверил ее покойный перед своим отъездом. В этом браке она родила троих детей: сыновей Роберта и Одо и дочь Мюриэль. С этим семейством Вильгельм поддерживал тесные отношения, особенно со своими братьями по матери, которых искренне любил и был схож с ними темпераментом. В страшные годы его детства семейство Эрлуэна и Арлетты, видимо, постоянно отстаивало его интересы, поэтому, лишь только взяв власть в свои руки, он стал оказывать явное предпочтение семье матери в ущерб Ричард идам.
В разгар этих публичных беспорядков в герцогстве стала формироваться «датская партия», противостоявшая «французской». Интриги короля только подогревали этот антагонизм. В 1035—1042 годах открытые мятежи, проявления откровенного бандитизма, измены доверенных лиц герцога случались почти исключительно в Нижней Нормандии и Котантене. Все, что осталось от скандинавских традиций, лишь способствовало переменам, охватившим страну ввиду явной несостоятельности герцогской власти.
Сеньориальная власть в Нормандии, как и в других местах, теперь получила надежду обрести полную независимость. В годы малолетства Вильгельма территория герцогства покрылась замками, как настоящими каменными крепостями (нормандцы тогда уже овладели искусством их строительства), так и примитивными деревянными башнями на вершине холма. Некоторые из этих замков, возведенных еще прежними герцогами в ходе их войн, были присвоены теми, кому поручалось охранять их, большей же частью это были незаконно построенные крепости. Замок Монфор на реке Риль, один из самых значительных в стране, занимал территорию в четыре с половиной гектара и включал в себя три линии укреплений, окруженных рвом шириной тридцать и глубиной девять метров.
С упадком центральной герцогской власти контрастировало возвышение отдельных сеньоров. Гильом де Талу подписывал свои официальные документы так: Nutu superni Regis comes («Граф милостью Царя Небесного»). На севере Нормандия граничила с Фландрией, где Балдуин V, шурин французского короля, с 1036 года правил одним из самых могущественных и наименее дезорганизованных государств Западной Европы. Южнее располагалось графство Анжу, правитель которого, старый лис Фульк Нерра, в 1039 году поразил всех тем, что в свои семьдесят лет отправился в Иерусалим и живым вернулся назад! Он ходил по улицам святого города среди изумленных мусульман, обнажившись до пояса и бичуемый двумя рабами, распевая псалмы: «Господи, прости несчастного, предавшего и отвергшего тебя. Прими его покаянную душу!» Он с миром почил на следующий год, передав графство своему сыну Жоффруа по прозвищу Мартель (Молот), энергичному и умелому воину, на время превратившему Анжу в великую державу. Что же до Нормандии, то она, напротив, в те годы больше напоминала Шотландию, где как раз началась череда кровавых клановых усобиц, затеянных Макбетом, Дунканом и Сивардом.