Именно после таких слов Наполеон сказал: «Мы и так довольно совершили для славы. Пришло время думать только о спасении оставшейся армии». Тогда маршал Бессьер добавил: «Для подобного предприятия у армии, даже у гвардии, не хватит мужества. Уж теперь поговаривают о том, что не хватает повозок и что отныне раненый победитель останется в руках побежденных и что, таким образом, всякая рана смертельна. Итак, за Мюратом последуют неохотно и в каком состоянии? Мы только что убедились в недостаточности наших сил. А с каким неприятелем нам придется сражаться? Разве не видели мы поля последней битвы, не заметили того неистовства, с которым русские ополченцы, едва вооруженные и обмундированные, шли на верную смерть?» Таким образом, в ходе разговора все шло к принятию решения о необходимости отступления.
После выступления Бессьера слово взял Даву, который заявил, что если отступление решено, то нужно отступать через Медынь и Смоленск. Но Мюрат прервал его и сказал: «Как можно предлагать императору такой неосмотрительный шаг? Разве Даву поклялся погубить всю армию? Неужели он хочет, чтобы такая длинная и тяжелая колонна потянулась без проводников по незнакомой дороге, под боком Кутузова, подставляя свое крыло всем неприятельским нападениям? Уж не сам ли Даву будет защищать армию? Зачем, когда позади нас Боровск и Верея безопасно ведут к Можайску, мы отклоним этот спасительный для нас путь? Там должны быть заготовлены съестные припасы, там все нам известно, и ни один изменник не собьет нас с дороги».
Услышав это обвинение, Даву ответил: «Я предлагаю отступать по плодородной почве, по нетронутой дороге, где мы сможем найти пропитание в деревнях, уцелевших от разрушения, по кратчайшему пути, которым неприятель не успеет воспользоваться, чтобы отрезать нам указываемую Мюратом дорогу из Можайска в Смоленск; а что это за дорога? Песчаная и испепеленная пустыня, где обозы раненых, присоединившись к нам, прибавят нам новые затруднения, где мы найдем лишь одни обломки, следы крови, кости людские и голод! Впрочем, я высказываю свое мнение, потому что меня спрашивают, но я с не меньшим рвением буду повиноваться приказаниям, хотя бы и противоречащим моему мнению; но только один император может заставить меня замолчать, а уж никак не Мюрат, который никогда не был моим государем и никогда им не будет!»
Завязавшийся спор Наполеон прервал словами: «Хорошо, господа, я решу сам!» Его решением было отступить.
Необходимо указать, что далеко не весь офицерский состав французской армии знал о том, что решение отступать было принято императором. Так, в своих мемуарах лейтенант Ложье писал: «В 5 часов, осмотрев все и отправив разведочные отряды вдоль Калужской дороги, он возвратился в Городню. Недовольный вид, какой у него был при отъезде, заставил нас думать, что у него возникли несогласия со своими старшими генералами и что если бы дело зависело только от него, то битва возобновилась бы».