В такой ситуации Наполеон приказал старой гвардии вернуться в Красный и, соединившись с корпусом Евгения Богарне, выдвинуться на запад. Молодая гвардия оставалась возле Уварова, чтобы дать время Даву привести войска в порядок.
Когда старая гвардия и корпус Богарне направились по дороге в Оршу, молодая гвардия, опасаясь окружения, тоже оставила позиции под Уваровым. Из первоначальной численности (6 000 человек) в ее рядах оставалась половина.
Опасаясь наступления Кутузова, Даву и гвардия выступили из Красного. В Красном остался лишь слабый арьергард генерала Фридриха. Корпус Нея этим утром только еще выходил из Смоленска.
Когда Кутузов узнал, что Наполеон располагается перед ним, он традиционно не позволил Голицыну и Милорадовичу преследовать французов. Тормасову также было запрещено движение. По сути, русский главнокомандующий продолжал уклоняться от значительных столкновений с французами, оберегая солдат. После того как стало ясно, что Наполеон отступает, Кутузов направил вперед Тормасова. Его марш длился около двух часов и, таким образом, возможность окружения французов снова была упущена. Тормасову удалось лишь отрезать арьергард и обозы корпуса Даву. Был захвачен личный багаж маршала, в том числе его маршальский жезл.
После обеда успешное наступление на арьергард Фридриха начал и Голицын. С наступлением ночи Кутузов разместил свои войска в Красном и его окрестностях, имея под рукой около 70 000 солдат. Об этом ничего не знал Ней, двигавшийся на деревню, то есть прямо в руки российской армии. 6 (18) ноября, в 3 часа дня, его корпус вошел в боевой контакт с войсками Милорадовича, занявшего позицию на крутом берегу реки Лосьминки. В его распоряжении находилось 12 000 солдат. Маршал Ней имел под ружьем от 7 000 до 8 000 человек, от 400 до 500 кавалеристов и 12 орудий. Вокруг его колонны шло несколько тысяч больных и раненых.
Будучи уверен, что в Красном (то есть прямо за позициями Милорадовича) расположены французские части, Ней предпринял попытку пробиться. Ему приписывают слова «Победим русских их же оружием – штыками». Действительно, атака производилась без единого выстрела и сначала была успешной. Однако последовавшая ожесточенная контратака заставила французов отступить и спрятаться в лесу. За ним был Днепр, а с других сторон – превосходящие силы российской армии.
Милорадович, понимая безнадежность положения корпуса Нея, сделал ему предложение о почетной сдаче. Маршал отказался, однако 6 000 солдат, в основном из сопровождающих корпус, сдались. Генерал Ермолов отметил в своих записках: «Я донес Милорадовичу, что вышедшие из опушки леса неприятельские колонны, соединившись, взяли направление на нашу позицию, остановились недалеко от батарей наших и отправили от себя для переговоров офицера, который объявил, что число всех чинов, состоящих в колонне и сдающихся пленными, более шести тысяч человек; оружие у них далеко неравное числу людей, пушки ни одной».