Генри, первый сын Дэвида и Элизы По, родился в январе 1807 года. Два года спустя он был отправлен к Элизабет и «генералу» По, родителям Дэвида. Бродячая жизнь актеров, путешествующих по всему Восточному побережью от Нью-Йорка до Бостона, от Балтимора до Филадельфии и Ричмонда и обратно, оказалась слишком утомительной для матери и малыша.
«Генерал» По никогда не был генералом и всю жизнь занимался тем, что мастерил прялки; но во время Войны за независимость он был назначен помощником начальника интендантской службы в городе Балтимор и со временем получил чин майора. Во всяком случае, он был инициативным и успешным офицером, впоследствии заслужившим похвалы маркиза де Лафайета.[3] Не менее успешным он был и в трудной роли отца, поскольку практически усыновил Генри и заботился об Эдгаре в первые месяцы его жизни.
Летом 1809 года Дэвид и Элиза вернулись в Балтимор ради маленького Эдгара. Однако счастливого воссоединения не получилось. И муж, и жена болели туберкулезом, к тому же состояние их здоровья усугублялось нищетой и ненадежностью существования. В декабре 1810 года у пары родилась девочка, которую назвали Розали, или Рози, и материальное положение молодой семьи стало еще напряженнее. До нас дошли сведения, что младшие дети были отданы под опеку старой валлийки, которая «обильно поила их джином и другими крепкими напитками, а иногда и настойкой опия», чтобы они становились «сильнее и здоровее». Или, скорее всего, чтобы не плакали.
В какой-то момент весной или летом 1811 года Дэвид По исчез. К жене и детям он больше не вернулся. Двадцать шестого июля газета «Норфолк геральд» сообщила, что миссис По «осталась одна… без друзей и поддержки».
Повзрослев, как сообщает один из исследователей, По «делал вид», будто не знает, что случилось с его отцом. Однако вполне вероятно, что ему не надо было «делать вид». Причины бегства Дэвида По неизвестны. Ходили слухи о ссоре с Элизой и еще более настойчивые слухи о том, что Розали не его дочь. Не исключено, что он покинул семью еще в 1810 году, возможно до рождения Розали.
Тем временем туберкулез Элизы перешел в свою финальную стадию. Вероятно, маленький Эдгар остро чувствовал, что потерял отца и теряет мать. Вряд ли он мог это понять умом, однако его раннее детство проходило в атмосфере смертельной опасности и обреченности. Тревога не покидала его. Он ведь не мог не видеть, как его мама худеет, как она натужно кашляет и харкает кровью. Эта картина осталась с ним навсегда. Во многих из своих рассказов он вновь и вновь воскрешает любимый образ — женщины, снедаемой туберкулезом.