В жизни писатели фигурировали литературные дамы, которые соперничали между собой, добиваясь его внимания. Главными среди них считались Элизабет Ф. Эллет, Фанни Осгуд, Маргарет Фуллер и Энн Линч. Фанни Осгуд, поэтесса из Нью-Йорка, к тому времени стала как бы другом семьи По. Маргарет Фуллер, писательница и критик, которая четыре года назад редактировала «Дайал», выходивший четыре раза в год журнал трансценденталистов, встретилась с По на «суаре» в Нью-Йорке. Поэтесса и учительница Энн Линч являлась устроительницей некоторых из этих «суаре». В «Бродвей джорнал» заботами По печатались произведения поэтессы и прозаика Элизабет Эллет и хвалебные отзывы о них. Фанни Осгуд, возможно, без особого благодушия отмечала, что Элизабет Эллет «повсюду следует за По». Дамы не отличались уживчивостью.
Элизабет Эллет и Фанни Осгуд писали По восторженные письма, которые въедливому читателю могут показаться чересчур нескромными. Но выражение поэтического увлечения, как знал и сам По, не то же самое, что настоящая страсть. И все же в то время людям показались неприличными чувства, какие питали к мужчине эти две дамы. Реакция, которую вызвали их послания, испугала обеих отправительниц.
В начале 1846 года миссис Эллет решила навестить По в его доме на Эмити-стрит. Придя, она услышала смех, потом в гостиной увидела Фанни Осгуд и Вирджинию По. Вскоре стало ясно, что они смеялись над неким письмом. Письмо в руках Фанни Осгуд написано было миссис Эллет и адресовано мистеру По. Миссис Эллет выхватила письмо у миссис Осгуд и покинула дом. Это одна версия.
Есть и другая. Миссис Эллет пришла на Эмити-стрит, и Вирджиния По прочитала ей письмо от миссис Осгуд. (Если сия версия правдива, то трудно понять, почему Вирджиния допустила подобную бестактность.) Миссис Эллет сделала вид, что шокирована тоном письма миссис Осгуд. Придя в несомненное возбуждение, она бросилась к миссис Осгуд и посоветовала ей забрать все письма, которые та посылала По. Речь шла о женской скромности.
Потом на авансцену выступили две другие литературные дамы. Маргарет Фуллер и Энн Линч, сдружившиеся на «суаре», нанесли визит По и официально потребовали возвращения писем миссис Осгуд. Естественно, По возмутился. Он ответил, что у него есть письма не только от Фанни Осгуд. Письма Элизабет Эллет тоже можно интерпретировать по-разному. В курятнике поднялся шум.
Тем временем Элизабет Эллет попросила своего брата пойти к По и забрать у него письма. По стоял на том, что уже отослал их миссис Эллет. Однако брат не верил ему и угрожал его убить, если он не предъявит письма. После этого По отправился к Томасу Данну Инглишу и попросил у него пистолет. Инглиш ему отказал и выразил сомнение в том, что По когда-либо получал письма от миссис Эллет. Дело закончилось потасовкой. Выглядит все это какой-то нелепой выдумкой, однако за всей неразберихой претензий и контрпретензий стоит реальная ссора.