От современников до нас дошли разные, иногда противоречивые, воспоминания о По этого периода. Один из кадетов запомнил его как «беззаботного, неряшливого парня, весьма эксцентричного, любившего выпить и, естественно, предпочитавшего писать стихи вместо того, чтобы решать уравнения». Не очень похоже на правду. По никогда не был «неряшлив» в одежде или невнимателен к своей внешности. Другой кадет пишет о По с большим правдоподобием как о человеке «застенчивом, гордом, чувствительном и плохо сходящемся с другими кадетами. Несравнимо больше времени он посвящал чтению, чем учебе…». Однако он все успевал, как бы мало времени ни тратил на учебу. По всегда быстро схватывал материал. Он посещал классы французского языка и математики и на экзаменах за год был семнадцатым по математике и третьим во французском. Совсем ни с кем не общаться он не мог, иначе откуда бы его соученики узнали некоторые подробности его прошлой жизни? Он рассказал им, что закончил колледж в Англии, охотился на китов, побывал в Южной Америке и на Востоке. По был прирожденным фантазером, что в равной степени доказывает как неуверенность его в себе, так и гордость.
Наиболее полно описал Эдгара По, каким тот был в академии, кадет Гибсон, живший с ним в одной комнате и особо отмечавший в своих воспоминаниях «усталый, безрадостный, недовольный вид» поэта, «вид, который трудно забыть тем, кто близко соприкасался с По. Он легко выходил из себя из-за любой мелочи, которую всегда принимал на свой счет… Почти сразу, несмотря на недолгий срок пребывания в Вест-Пойнте, По утвердился как талантливый человек, и из комнаты № 28 чуть ли не каждый день расходились стихи и эпиграммы на случай…». Гибсон еще добавил, что «никогда не слышал, чтобы По хвалил кого-нибудь из английских писателей, будь то живые или мертвые». По не упускал возможности обвинить современника в плагиате или, еще хуже, в незнании грамматики. Он всегда презрительно отзывался о тех, кто хотел соперничать с ним. Еще у него была репутация любителя розыгрышей, и от этой привычки шутить и разыгрывать он не избавился до самой смерти. Его шутки были жутковатыми и даже кровожадными. Однажды он уверял, что тушка гусака со свернутой шеей на самом деле была трупом нелюбимого учителя. Ему нравилось пугать приятелей. В этом он тоже был неизменен.
Довольно быстро По надоело пребывание в Вест-Пойнте. Один из современников утверждает, что По потерял интерес к учебе всего через «несколько недель», потом «впал в уныние и разочарование». Не о такой жизни для себя он мечтал. К тому же он опять наделал долгов. В результате По задумал уйти в отставку. К сожалению, этого нельзя было сделать без разрешения на то отца или опекуна, и По написал Джону Аллану, прося его совета. Ответом ему было: «Категорически против». У Аллана не оставалось сомнений в том, что По вернулся к прежним своеволию и беспутству.