Средний возраст стал для Форстера благодатной порой освобождения от вседовлеющего влияния Лили. Он снимает для себя отдельную квартиру и перестает отчитываться перед матерью о каждом шаге.
После второй поездки в Индию он пишет одноименный роман, ставший последним в его творчестве. Среди причин ухода Форстера из большой литературы назывались и такие, как «отказ быть великим» (Лайонел Триллинг), медлительность и лень. Сам Форстер объяснял это тем, что «ему нечего больше сказать». Но, как нам представляется, причины были личного свойства: расширение круга друзей, включая лиц с гомосексуальной ориентацией, и уменьшение влияния матери и родственниц.
В апреле 1922 года Форстер прочитал в «Лондон Меркьюри» стихотворение «Призраки» малоизвестного двадцатишестилетнего поэта Джо Эккерли и направил ему восторженное письмо. Завязалась переписка, и вскоре они стали близкими друзьями. Эккерли никогда не скрывал своих наклонностей. Скорее, наоборот. Он тоже искал Идеального Друга, но, по собственному выражению, «находил их только в мире собак». Тем не менее, он мог соскочить с поезда вслед за ускользающим лицом, приветливой улыбкой, накачанными плечами и крепкими ягодицами. Тщедушный Форстер не мог привлечь Эккерли, поэтому любовниками они так и не стали. Однако Эккерли раскрыл перед Форстером новые горизонты. Их дружба продолжалась сорок лет — вплоть до кончины Эккерли.
В 1929 году он познакомил Форстера с молодым лондонским полицейским Бобом Бакингемом. Запись Форстера в дневнике тех лет: «Я хочу любить сильного молодого мужчину из низших слоев общества, быть им любимым и даже сносить от него обиды. Таков мой жребий». Бакингем был женат и имел сына. Довольно долго отношение Мэй Бакингем к интимному другу мужа оставалось сложным и, скорее, неодобрительным. В конце концов все же наступило примирение. Втроем они ездили в заграничные поездки, Форстер много времени проводил в доме Боба и Мэй. Он дал образование их сыну Робу, который, к сожалению, скончался в возрасте 33-х лет от лимфогранулематоза. Это произошло в 1962 году, но и после Форстер помогал вдове и детям Роба Бакингема.
Последние годы жизни Форстер жил на казенной квартире в Кингс-колледже. Произошло возвращение в альма-матер, круг замкнулся. Раскрепостившему его в свое время Кембриджу Форстер завещал все свои денежные средства и обширный архив, куда вошли дневники разных лет и переписка с такими выдающимися деятелями литературы, как Форрест Рейд, Кристофер Ишервуд, Стивен Спендер, Томас Элиот, Гор Видал и многими, многими другими.