Для встречи с комендантом крепости Арнольдом, являвшимся агентом англичан, и был послан майор Андре. Под видом торговца Андерсена (ему-то и было адресовано письмо от Арнольда, которое заметила Сара Таунзенд) майор с большими трудностями добрался к месту свидания с американским генералом. До сих пор Джону Андре сопутствовала удача. Но с той мийу-ты, когда он вынужден был отказаться от мысли вернуться к своим на фрегате «Коршун», который не смог пройти ему навстречу вверх по реке из-за сильного огня американцев, счастье изменило Андре. Пришлось избрать иной путь возвращения — верхом, через расположение противника. Его сопровождал доверенный Арнольда полковник Смит. На окрики патрулей и часовых о том, кто идет, они отвечали: друзья. Если требовалось, показывали пропуск от генерала. В сумерках переправились через Гудзон, прошли на юг и у моста на реке Кротон расстались. За рекой начиналась нейтральная территория, там Андре был почти в безопасности.
До английских линий было рукой подать, когда утром 23 сентября вблизи Тарритауна его остановил патруль из трех ополченцев. Андре, видимо, неплохо разыгрывал свою роль. Недаром о его актерских талантах, которые он демонстрировал в любительских спектаклях, как, впрочем, и о его способностях поэта и художника, так много говорили в салонах Нью-Йорка. Ополченцы готовы были уже поверить мнимому торговцу и лишь на всякий случай решили осмотреть его сюртук и предложили снять сапоги. Андерсен повиновался, но снял почему-то только один левый сапог. В другом оказались план укреплений Вест-Пойнта, данные об огневых средствах крепости и другие секретные сведения… Андре предложил сделку: за свою свободу — сто гиней, лошадь и золотые часы. Джон Пол-динг, командир патруля, заявил ему на это: «Даже за десять тысяч гиней вы не сделаете ни шагу». Английского агента доставили к полковнику Джеймсу, командиру второго полка легких драгун. Он распорядился отправить арестованного обратно в крепость Вест-Пойнт к генералу Арнольду. Это была явная неосторожность. Мало того, полковник послал Арнольду курьера с извещением об аресте торговца Андерсена. Стоит ли говорить, что генерал-изменник прекрасно воспользовался этой информацией и благополучно скрылся. Чем руководствовался полковник Джеймс— осталось загадкой. Надо полагать, что это была лишь непростительная оплошность.
Бенджамин Толмедж, узнав об аресте какого-то Андерсена, вспомнил полученные накануне послания, где упоминалась эта фамилия. Был отдан приказ вернуть незадачливого негоцианта обратно. Через несколько дней, в начале октября, суд приговорил Андре к смертной казни. В честь его пленения выпустили медаль, которой наградили задержавших его ополченцев, а на том месте, где его арестовали, воздвигли обелиск.