Также не удалось армии Наполеона в Смоленске отдохнуть, поскольку они находились в городе всего 4 дня, да и этот отдых был лишь кажущимся: «Многие из нас здесь растеряли остатки своего стремления, которое еще поддерживало в них надежду. На нас напали ужасные сомнения, и все нас окружающее только подкрепляет наши подозрения. И тем не менее, мы решили все превозмочь во что бы то ни стало, смотрим на все с оттенком безразличия; мы негодуем только на судьбу, но и тут делаем вид, будто сохраняем полное бесстрастие».
О том, как выглядела Великая армия в этот период, писал Ложье: «Офицеры и солдаты идут вперемешку, одетые самым странным и необычайным образом, вступают друг с другом в драку и едят посреди дороги! Увы! Наши физиономии, похудевшие и почерневшие от дыма, наши разорванные одежды, изношенные и грязные, плохо соответствовали тому воинственному и величественному виду, который мы являли собой три месяца назад, проходя через этот самый город».
Находясь в Смоленске, Наполеон попытался реорганизовать свою армию: он соединил в один корпус под командой Латур-Мобура остатки кавалерии, а также роздал ружья тем солдатам, у которых их уже не было. При этом значительная часть больных и раненых (около 3 678 человек) была эвакуирована из Смоленска в Оршу. Теперь при выходе из города Наполеон имел в своем распоряжении армию из 36 тысяч человек. Еще было несколько тысяч отставших. Император приказал сжечь все повозки и экипажи, чтобы иметь возможность тащить пушки, необходимые для отпора наступавшему авангарду русской армии.
Итак, тактика Кутузова снова сработала – в Смоленске Великая армия существенной помощи и поддержки не получила, ее материальные и людские ресурсы были исчерпаны. В такой ситуации Наполеону оставалось лишь отступать. Сегюр писал: «Одним словом, этот зловещий Смоленск, который армия считала концом своих мучений, был только началом их! Перед нами открывались бесконечные страдания: надо было идти еще сорок дней под тяжелым игом всевозможных лишений. Одни, отягощенные муками настоящего, приходили в ужас при мысли о будущем; другие же восставали против своей участи: они рассчитывали только на самих себя и решили выжить во что бы то ни стало».
В то время, когда Наполеон ускоренными темпами отступал в Смоленск, дивизионный генерал Л. Бараге д’Ильер получил приказ наладить сообщение между Калугой и Смоленском и тем самым обеспечить защиту Смоленска, в котором стояла армия, с юга.
Дивизия двинулась к Ельне. Ей удалось занять город, вытеснив оттуда отряд Калужского ополчения и расположиться в этом районе. Командир дивизии не получил нового приказа от Наполеона о том, что в связи с изменениями обстановки ему необходимо быстро вернуться в Смоленск. В частности, не зная о поспешном отступлении Великой армии из города и о том, что российские войска находятся совсем рядом, Бараге д’Ильер растянул части дивизии на значительном пространстве: в деревне Болтутино стоял арьергард из 280 человек, возле деревни Холмы – 1 700 человек при 2 орудиях (здесь находился он сам), в селе Язвино – 1 800 человек при 4 орудиях, в деревне Ляхово – 1 100 человек пехоты и 2 эскадрона конных егерей, у Долгомостья – обоз и 3 эскадрона кирасир.