Довольно частые гости привозили с собой корзинки с провизией. К тому же Мария Клемм заимела привычку «брать в долг» у посетителей. Поскольку многие из них мечтали о литературной карьере, случалось, что По приходилось платить за их щедрость кое-какой «дутой рекламой» в популярных изданиях. Похоже, Мария Клемм отлично вела дела.
Некоторое представление о жизни По в Фордхеме у нас есть. Однажды соседка проходила мимо его дома и видела, как он рвал вишни и бросал их Вирджинии. А потом она заметила, что белое платье Вирджинии «испачкано алой кровью, такой же яркой, как вишни, которые она ловила». Не забыла она и выражение лица «Эдди», когда он на руках нес жену в дом. «Они были очень бедные», — говорила она. А Мария Клемм писала, что «у них самый прелестный дом, какой только можно вообразить. Ах, как мы невероятно счастливы в нашем милом доме! Мы все трое жили ради друг друга. Эдди редко покидал наше чудное жилище. Я занималась его литературными делами, ибо он, бедняжка, ничего не смыслил в финансовых вопросах».
Однако По не мог взять и совершенно покончить с городской жизнью. В Фордхем ездили по Гарлем-рейлроуд, соединявшей Уильямсбридж с центром города и Ратушной площадью, и поезда ходили там каждые четыре часа. Известно, что однажды вечером в июне 1846 года По был в Нью-Йорке. Это следует из его письма, написанного на листке, вырванном из блокнота. «Мой сердечный друг», — так он начал свое послание. Он надеялся, что «переговоры, ради которых я приехал, окажутся весьма благоприятными для меня… в моем нынешнем разочаровании. Вероятно, я бы совсем опустил руки, если бы не ты». Что конкретно имел в виду По, говоря о «переговорах» и о «разочаровании», нам неизвестно. Дальше мы читаем, что «моя милая жена — мой самый главный и единственный стимул в настоящее время. Вот я и сражаюсь с этим жестоким, негодным и неблагодарным миром».
Мир стал жестоким во всех смыслах. В периодике уже пошли слухи о «безумии» По. Например, в апрельском номере балтиморского «Сэтердей визитер» было напечатано, что По «доработался до такого умственного расстройства, что его пришлось поместить в клинику в Ютике». Подобные россказни явились прямым следствием злосчастного письма, в котором доктор по настоянию По объяснял историю с письмами миссис Эллет припадком безумия. Как только это заключение стало известно, поползли слухи.
Усугубил положение иск, поданный По на «Нью-Йорк миррор», на чьих страницах Инглиш обвинил По в мошенничестве и плагиате. Адвокат По передал дело о клевете в Верховный суд Нью-Йорка, требуя пять тысяч долларов в возмещение морального ущерба. Дело было отложено, потом отложено еще раз, однако практически вся пресса Нью-Йорка явила свою враждебность по отношению к По. «Какая мелочность, — комментировала ситуацию „Нью-Йорк миррор ньюс“, — для человека, который оскорбил едва ли не всех более или менее заметных писателей в Соединенных Штатах».