Лесистая местность не позволила российским войскам двигаться сомкнутыми колоннами. В такой ситуации они были вынуждены построиться в стрелковые цепи и вступить в перестрелку с противником. Некоторое время Удино удавалось сдерживать натиск, однако численное превосходство было очевидным. Корпус Удино нес тяжелые потери и отходил, сам маршал был ранен пулей в бок. Его сменил Ней, который перешел в контратаку и отбросил русскую пехоту, а польские войска генерала Зайончека едва не завладели батареей. Чичагов сумел отбить наступление, перебросив подкрепления. В решающий момент Ней приказал кирасирам генерала Думерка прямо через лес атаковать русские войска. Следом за кирасирами в атаку перешли польские уланы, которые довершили разгром егерей. В результате этой атаки русская пехота была полностью опрокинута, потеряв убитыми и ранеными около 2 000 человек. После этого сражение на правом берегу реки перешло в перестрелку, переправа осталась под контролем французов.
В результате на левом берегу, как и на правом, российские войска больше не предпринимали активных действий. С наступлением темноты французы продолжили переправу, однако оставшиеся на левом берегу нонкомбатанты по неизвестной причине не сдвинулись с места. Генерал Эбле специально посылал к ним офицеров, но попытки их вразумить не имели успеха.
Как утверждал Сегюр, через Березину успело переправиться до 60 тысяч человек. При этом большая часть из них – гражданские и небоеспособные остатки армии Наполеона. Ближе к вечеру на собравшуюся толпу этих небоеспособных солдат стали сыпаться ядра артиллерии Витгенштейна. Люди кинулись к мостам и один из них рухнул. В создавшемся беспорядке переправа застопорилась. Француженка Фюзи, которая в последний момент успела переправиться, описывала картину, которая предстала перед ее глазами с другого берега: «Когда мост сломался, мы услыхали невероятный крик, вырвавшийся из уст огромной толпы. Этот крик так и раздается у меня в ушах всякий раз, как я только о нем вспомню. Все несчастные, остававшиеся еще на том берегу реки, погибли под картечью русской армии. Тут только мы могли понять весь ужас этого бедствия! Лед не был достаточно крепок, ломался, и река поглощала мужчин, женщин, лошадей и повозки. Военные убивали всех, кто мешал их спасению. Огромная опасность не знает законов человечности, обыкновенно сокрушают все, чтобы сохранить только себя».
Врач Ларрей также вспоминал о тех событиях: «Всякая надежда на спасение в эту минуту пропала. Потеряв голову, под влиянием отчаяния большинство кинулось вниз на лед, рассчитывая перебраться по льду на другой берег, но благодаря сильному течению река у самого берега не замерзла. Несчастные бросились вплавь, некоторым удалось переплыть это пространство, а другие тонули или гибли, затертые льдинами. Самые благоразумные и смелые бегут назад и сами отдаются в руки врагам, спасаясь от тех ужасов, свидетелями которых они только что были».