Перед боем Сен-Сир начал передвижения войск на левом берегу реки Западная Двина, что в какой-то мере отвлекло Витгенштейна от скрытой перегруппировки войск на правом берегу. Когда начался бой, французы, сломив сопротивление русских войск, вынудили их левый фланг отойти. Последние явно не ожидали атаки и первоначально были полностью дезорганизованы, но вскоре стали яростно отбиваться. Сен-Сир вспоминал: «Русские выказали в этом деле непоколебимую храбрость и бесстрашие, каких мало найдем примеров в войсках других народов. Их батальоны, застигнутые врасплох, разобщенные одни от других, при первой нашей атаке, не расстроились и продолжали сражаться, отступая чрезвычайно медленно и обороняясь со всех сторон с таким мужеством, какое, повторяюсь, свойственно только одним русским. Они совершали чудеса храбрости, но не могли удержать одновременного напора четырех дивизий…»
В таких условиях французы атаковали центр, где удалось захватить несколько орудий. Началось отступление дивизии Берга и авангарда Властова. Но на правом фланге наступление французов было приостановлено. При этом чуть не попал в плен сам Сен-Сир, а генерал Деруа был убит. К вечеру сражение прекратилось.
7 (19) августа войска Сен-Сира оставались в Полоцке. После боев 9 августа Витгенштейн отступил на позиции за рекой Дрисса.
Упоминавшийся выше военный медик Франсуа Мерсье следующим образом оценивал действия Сен-Сира в событиях Первого полоцкого сражения: «Благоразумие подсказало Удино очистить Полоцк и переправить свой отряд на противоположный берег Западной Двины; он уже отдал приказ об отступлении и начал его осуществлять под покровом ночной темноты, когда усилившаяся от полученной раны боль принудила его передать командование отрядом генералу Гувион Сен-Сиру. Обозы, кавалерия и артиллерия успели к этому моменту уже перейти реку; эти передвижения не могли, разумеется, укрыться от внимания неприятеля, который ожидал, что и остальная часть французского отряда отступит в том же направлении. Когда Гувион Сен-Сир принял на себя командование корпусом, он постарался укрепить неприятеля в этом заблуждении; с этой целью уже с наступлением дня он заставил продефилировать обозы в сопровождении небольших отрядов войска по таким дорогам, чтобы русские могли их ясно различить с правого берега реки. А в то же время французская артиллерия и кавалерия переправилась обратно через Двину в другом пункте. Эти войска приблизились с разных сторон, чтобы снова занять позиции, покинутые в виду неприятеля. В мгновение ока русские были сильно атакованы как раз в тот момент, когда они уже не сомневались более в успехе; они защищались с упорством и самоотверженностью, вообще им свойственной, но в конце концов, будучи выбиты из позиций и теснимые со всех сторон, они должны были отступить за Дриссу, где с трудом могли найти для себя убежище. Это блестящее военное дело дало Гувион Сен-Сиру звание французского маршала».