Но Вильнёв не мог идти в Ла-Манш: с его малочисленной и ослабленной эскадрой это было бы безумием.
Поняв наконец тщетность своих ожиданий и вообще всего своего предприятия по высадке десанта в Англии, Наполеон 3 сентября покинул Булонский лагерь, двинув собранную там Великую армию в сторону Рейна. Как отмечает известный исследователь военных кампаний императора Дэвид Чандлер, «окончательное решение было принято 25-го. В тот же день из императорской ставки вышли приказы, согласно которым вторжение в Англию откладывалось на неопределенное время».
В своем письме морскому министру Декре от 4 сентября 1805 года Наполеон излил все свое негодование поведением Вильнёва:
«Господин Декре, адмирал Вильнёв переполнил чашу моего терпения; он отдал, выходя из Виго, приказ капитану Аллеману идти в Брест, а вам он пишет, что собирается идти в Кадис. Это же предательство. Этому нет другого названия. Предоставьте мне рапорт о всей экспедиции. Вильнёв — это ничтожество, которое нужно с позором изгнать. Лишенный храбрости, лишенный общей цели, он готов пожертвовать всем, чтобы спасти свою шкуру. Ничто не может сравниться с глупостью Вильнёва. Я требую отчет обо всех его операциях.
1. Он запаниковал и не высадил на Мартинике и Гваделупе 67-й полк и войска, которые были на борту адмирала Магона.
2. Он подвергнул риску наши колонии, отправив лишь на четырех фрегатах 1200 человек элитных гарнизонов.
3. Он трусливо провел бой 3-го числа, не атаковав вновь разбитую эскадру, тащившую два корабля на буксире.
4. Войдя в Ферроль, он оставил море адмиралу Калдеру, ждавшему эскадру из пяти кораблей и не крейсировавшему перед Ферролем до подхода этой эскадры.
5. Он был извещен о том, что вражеские корабли тащили на буксире фрегат „Ля Дидон“, и даже не вывел свои корабли, чтобы отбить его.
6. Он вышел 26-го, но вместо того, чтобы идти в Брест, он направился к Кадису, нарушив все инструкции.
Наконец, он знал, что эскадра капитана Аллемана должна прийти 25 термидора в Виго для получения приказов, но 26-го снялся с якоря, не передав новых приказов этой эскадре, а, напротив, оставил в Ферроле другие инструкции, подвергавшие опасности эту эскадру, так как она получила приказ идти в Брест, тогда как он, Вильнёв, шел в Кадис».
На первый взгляд возмущение Наполеона действиями Вильнёва вполне понятно. Но это — только на первый взгляд. На самом деле в этом разгромном письме есть как минимум два странных момента, которые сразу бросаются в глаза. Во-первых, морской бой у мыса Финистерре, который еще совсем недавно трактовался Наполеоном как вполне успешный, теперь почему-то называется трусливым, а во-вторых, приказ двигаться в Кадис — не сам ли Наполеон отдал его совершенно задерганному противоречивыми распоряжениями Вильнёву? Во всяком случае, не является секретом документ, в котором черным по белому Вильнёву предписывалось «осуществить мощную диверсию, направив в Средиземное море морские силы, собранные в Кадисе». А для этого ему приказывалось, «сразу же по получении настоящего, воспользоваться первой же возможностью, чтобы направиться в это море». Точку в этом вопросе ставит историк Вильям Миллиган Слоон, утверждающий, что решение идти в Кадис было принято, «согласно с разрешением, содержавшимся в императорской инструкции».