Уилли не исполнилось и четырех лет, когда старшие дети были направлены учиться в Англию в Дуврский колледж. Поскольку в семье не осталось никого, с кем он мог бы дружить, у маленького Уилли сложилось впечатление, будто он единственный сын у своих родителей. Именно таким восприятием самого себя объясняется отсутствие братьев у главного героя автобиографического романа «Бремя страстей человеческих». С годами он утвердился во мнении, что от братьев его отделяет не только расстояние, но и разные жизненные судьбы. Они были отправлены в Дуврский колледж — он поступит в Королевскую школу; они пойдут по стопам отца и станут юристами, он — писателем. Хотя он будет поддерживать с ними связь до конца жизни и испытывать к ним теплые чувства, между ними никогда не установятся доверительные отношения, которые формируются в ходе совместной жизни и на которых зиждятся родственные узы. Жена Чарлза Мейбл как-то призналась Робину Моэму, что хотя Уилли навещал их в Париже, «он никогда не испытывал глубокой любви к кому-либо из нас». Любопытно, что у будущего писателя сложились более сердечные отношения с женой Фредерика, Элен, чем с братом. Все свои новые книги, которые он дарил их семье, содержали посвящение ей, а не Фредерику.
Одной из причин, прервавших дальнейшее увеличение семьи Моэмов, должно быть, стала франко-прусская война 1870–1871 годов, которая вынудила большинство проживавших в Париже британских подданных покинуть французскую столицу. Роберт отправил семью в Лондон, где она оставалась в течение всей войны и последовавших кровавых гражданских беспорядков. Глава семьи вернулся в Париж в августе 1871 года и возобновил юридическую практику. Вплоть до своей смерти тринадцать лет спустя он трудился, не покладая рук, чтобы вернуть фирме былую репутацию и восстановить материальное благополучие семьи. Как вспоминал один из внуков писателя, Роберт Моэм подолгу бывал в разъездах, что оставляло ему мало времени для общения с женой и детьми. Поэтому неудивительно, что в мемуарах, написанных к концу жизни, писатель лишь кратко упоминает о своем отце: «Отец был чужим для меня».
Отношения с матерью сложились иначе. Отъезд братьев на учебу, отдаливший их от семьи, сделал маленького Уилли единственным объектом любви и заботы родителей. Его спальня, в которой стояла и кровать воспитательницы, находилась рядом с детской. Дважды в день его водили на Елисейские поля поиграть с детьми. Согласно установленному порядку и существовавшим в семьях среднего класса обычаям Уилли виделся с матерью в полуофициальной обстановке: ему разрешалось зайти к ней в спальню на несколько минут, когда после утренней ванны она нежилась в постели. Иногда вечером его приводили к чаю и просили прочитать гостям выученную басню Лафонтена. Это соприкосновение с окружением матери приоткрыло малышу мир культуры и приобщило его к изящному.