Она же вспоминала, что юный По корил ее дружбой с некой девицей, которую считая «вульгарной». «Он был полон предрассудков, — говорила Эльмира после смерти По, — и ненавидел грубость и невоспитанность». Эльмира Ройстер писала о высокомерии Эдгара По и о свойственной ему застенчивости в обществе. Безупречный южный джентльмен, он, однако, не укладывался в рамки общепринятых представлений. Эльмира, или «Мира», как называл ее По, отмечала, что он был «очень восторженным и импульсивным», но «как правило, выглядел печальным».
Печаль вызывалась и обстановкой дома. В семье Джона Аллана не все было так уж хорошо. У Фрэнсис Аллан, вероятно, уже тогда проявились первые признаки туберкулеза, который и свел ее в могилу пятью годами позже. Однако было и кое-что другое. По и Джон Аллан начали ссориться. Не исключено, что Джон Аллан напоминал своему юному подопечному, что тот был, по существу, взят в дом из милости. В ноябре 1824 года он написал письмо Генри, старшему брату Эдгара По, о том, что Эдгар «бездельничает и дуется — ходит в скверном настроении и злится на всех вокруг. Чем мы заслужили такое отношение — понять не могу». И еще он добавил, что у Эдгара «нет ни капли любви к нам и ни малейшей благодарности за все, что я для него сделал». То же самое говорилось и о взрослом По. Он не мог заставить себя унизиться перед кем бы то ни было, не мог заставить себя выразить благодарность.
В том же письме к Генри По приемный отец Эдгара упоминает о его «бедной сестренке Розали», которая жила в Ричмонде с Маккензи, и пишет, что она лишь «наполовину его сестра, но Боже упаси, дорогой Генри, упрекать живых в ошибках и слабостях мертвых». Смысл слов «наполовину сестра» совершенно очевиден. Аллан намекает на то, что у Розали был другой отец и что она соответственно внебрачный ребенок. Если Аллан написал такое Генри По, то он, вне всяких сомнений, говорил нечто подобное и Эдгару. Мальчику, который так почитал свою мать, это казалось непростительным. Нам уже известно о «ненависти» По ко всему грубому. А что может быть грубее, чем обвинение матери в том, что ребенок ее не от мужа?
Как развивались события? По знал о внебрачных детях Аллана, которые жили в Ричмонде, и, вероятно, приписал пошатнувшееся здоровье миссис Аллан именно этой причине. Если он упрекнул Аллана в том, что тот произвел на свет внебрачных детей, разве не естественен ответный упрек — напоминание о похожем грехе матери По? Наверное, это и стало началом жестокого и постоянно усугублявшегося конфликта. Не раз По говорил, что хочет сбежать от Алланов и найти свой путь в жизни. Опекуны Розали Маккензи свидетельствуют о его желании стать моряком.