По оставил нам собственное описание этой школы в «Уильяме Уилсоне», где она предстает огромным сооружением с просторными классами на бесчисленных этажах и извилистыми коридорами, которые кажутся бесконечными. Эдгар всегда был необычайно чуток к архитектурным красотам, и потому «причудливая», «готическая» громада распаляла его фантазию. Позднее он вспоминал и «сумрачную атмосферу» «подернутого туманом деревенского пейзажа», так что Сток-Ньюингтон стал для По источником его первых грез. Правда, не похоже, чтобы они были светлыми. Позднее он рассказывал, что школьные годы в Англии запомнились ему как «печальные, одинокие и несчастливые».
Несчастной была и Фрэнсис Аллан. Она не смогла прижиться в Лондоне и в течение пяти лет постоянно страдала от множества непонятных недугов. Джон Аллан писал, что «Фрэнсис, как обычно, жалуется», потом, что она «то и дело жалуется», да и подруга сообщала, что Фрэнсис «очень слаба — и, увы, не в состоянии написать сама». Фрэнсис Аллан отправилась в Челтнем на воды, однако ничто не могло развеять ее уныния. А вот ее муж был куда бодрее. Осенью 1818 года он рассказывал в письме, что «Эдгар очень вырос, и его считают способным и старательным учеником». Годом позже он опять отметил, что мальчик «хорошо себя ведет и хорошо учится».
Однако в отношении своих дел мистер Аллан не был столь оптимистичен, поскольку в 1819 году неожиданное падение цен на табак на Лондонском рынке стало грозить ему полным разорением. Со временем долгов набралось еще больше, и тогда он решил отказаться от торговли ради того, чтобы стать фермером или плантатором. Джон Аллан готовился покинуть Англию и вместе со всем семейством вернуться на свою вторую родину. Итак, в июне 1820 года на корабле «Марта» они отплыли из Ливерпуля и примерно через шесть недель пришвартовались в Нью-Йорке, откуда на пароходе отправились в Ричмонд.
В то время Ричмонд был захолустным, сонным, душным городом с населением в десять тысяч человек. Промышленность в нем была достаточно развита, однако половину городского населения составляли рабы. В те времена американский Юг был полностью рабовладельческим, и затхлый консерватизм, разнообразившийся вспышками насилия, являлся его отличительной особенностью. Ричмонд стоял на восьми зеленых холмах над рекой Джеймс, на склонах которой теснились дома; река же, пролагавшая себе путь между островков по каменистому руслу, становилась отрадой для людей в душное, жаркое время года. В разгар лета, когда возвратилось семейство Алланов, кругом цвели персиковые деревья и магнолии. На центральных улицах в ряд стояли красивые крепкие дома, окруженные обширными садами, в которых росли липы, мирт, жимолость и розы. Здесь существовала своя законодательная власть, имелись прекрасная публичная библиотека, залы для собраний и белые деревянные церкви. Однако по соседству можно было видеть трущобы, в которых ютилось черное население.