Когда дело касалось содержания юного Эдгара, Аллан обычно проявлял скупость. В одном из писем По подсчитал свои университетские расходы, включая жилье и обучение, оценив их в триста пятьдесят долларов в год. Аллан же отправил его в Шарлоттсвиль, дав всего сто десять долларов. В результате По смог записаться лишь в два из трех классов, открывавших ему свои двери, правда сэкономив на этом пятнадцать долларов. Конечно же были и денежные посылки, но их никогда не хватало на оплату счетов. Тем более их недоставало для покрытия карточных долгов, и, согласно жалобам По, «на него смотрели, как на попрошайку». Никаких явных причин так жаться у Аллана не было. Всего лишь годом раньше он унаследовал довольно большое земельное владение по завещанию богатого шотландского родственника, который тоже эмигрировал в Америку.
Должно быть, к своему приемному сыну Аллан испытывал противоречивые чувства. Позднее, по свидетельству друга По, поэт сам характеризовал своего приемного отца как человека грубого и жестокого, признавая тем не менее, что временами он баловал сына, проявляя щедрость, хотя обычно бывал прижимист и скуп. Похоже, что с годами Эдгар вызывал у Аллана все большее негодование: он начинал видеться ему неблагодарным наглецом. В свою очередь По предполагал, что когда-нибудь богатства Аллана достанутся ему. И это было самым необоснованным предположением из всех возможных.
Когда в конце 1826 года По вернулся в Ричмонд, Аллан отказался финансировать его дальнейшее обучение. Несмотря на настойчивые письма кредиторов юного По, приемный отец больше не хотел оплачивать его долги, которые приближались к двум тысячам долларов. По рассчитывал проучиться в университете два года. Степени (в современном смысле этого слова) он не получил бы, но имел бы официальный документ о том, что закончил слушание ряда курсов. По отличала неуемная тяга к чтению, однако мир академического образования теперь для него закрывался. В позднейшем письме По упрекает Аллана в том, что «под влиянием минутного каприза» тот разрушил его надежды. Последовавшее возвращение домой оказалось горьким и по другой причине: По стало известно, что его письма к Эльмире перехватывались ее отцом и что она, по-видимому, собирается замуж за другого. Между Алланом и По участились стычки и ожесточенные ссоры. Следы былой любви между приемным отцом и его сыном окончательно исчезли.
В середине марта 1827 года По навсегда оставляет дом Алланов. Остановившись в трактире «Кортхаус», беглец написал приемному отцу: «Я слышал, как вы говорили (когда не знали, что я слышу, и поэтому говорили искренне), что не любите меня». Добавив, что его опекун постоянно упрекает его «в дармоедстве и лени», он заявил, что не желает «находиться во власти у черных», подразумевая, что рабы переняли отношение к нему хозяина. По просил выслать ему сундук с одеждой, так как собирался ехать на север, чтобы в каком-нибудь большом городе заработать достаточно денег для обучения в университете.