К концу жизни Серл говорил о чудесных тридцати семи годах, проведенных с Моэмом, к которому он испытывал не только глубокую любовь, но и беспредельное восхищение как к писателю. Моэм взял на себя заботу о нем, не только предоставив ему убежище, которое он мог обеспечить благодаря своему богатству, но и покровительство, особенно в первые годы их знакомства. Писатель был богат, пользовался положением в обществе и в силу этого обладал достаточным влиянием. Серл чувствовал себя защищенным в мирке, который писателю удалось создать своим упорным трудом. По иронии или по логике судьбы со временем они поменяются ролями: теперь уже Серл будет выступать в роли покровителя остро реагирующего и легко ранимого писателя.
Жизнь Серла, как бы она ни казалась привлекательной, она имела и темные стороны. Еще до того, как Моэм стал старчески немощен, он бывал порой невыносим, и Серлу приходилось первому испытывать на себе его гнев и вспышки ревности. Моэма, например, вывело из себя сделанное Бернардом Беренсоном в его автобиографии утверждение о том, что Серл разбирается в искусстве глубже, чем сам писатель. Моэм запретил Серлу читать книгу, а Беренсону переступать порог его дома. Моэм никогда не прощал ни тем, кто отзывался плохо о его молодом друге, ни тем, кто его хвалил. К этому следует добавить находившие иногда на писателя приступы гнева, во время которых, как он сам однажды признался, он был готов убить кого-нибудь. Но какими бы резкими ни бывали такие вспышки, они продолжались недолго и сменялись неизбежным раскаянием. Георгий Розанов стал однажды свидетелем сцены, во время которой Моэм обрушился с резкими словами на пристыженного и потупившего взор Серла, который, не выдержав обиды, убежал в сад. Через несколько минут успокоившийся Моэм послал слугу и Розанова за Серлом. Когда тот весь в слезах вернулся и сел на край софы, Моэм, «сохраняя чувство достоинства и проявляя необыкновенный такт,… запинаясь произнес слова извинения и примирения».
Но самую большую обиду, которую Серлу пришлось заплатить за свою совместную жизнь с Моэмом, был, конечно, отказ молодого друга от собственной свободы. Выполнение обязанностей секретаря, медицинской сестры и близкого человека, особенно когда Моэму перевалило за восемьдесят, означало ежедневное пребывание с писателем большую часть времени. Когда Серл как-то заикнулся об отпуске, Моэм удивился: «Отпуск? А разве твоя жизнь не отпуск?». Лишь один раз в 50-е годы Серлу удалось провести неделю с родственниками в Англии. Второй случай выпал ему в 1962 году, когда он отправился в Англию продавать картины из коллекции писателя.