Сразу же после перехода французских войск через Неман, Барклай начал отступление, тем самым сразу нарушив планы противника, надеявшегося окружить его армию и разбить ее в одном сражении. Приказ об отступлении был дан и 2-й армии с таким расчетом, чтобы, отступая, эти армии объединились. Отступление при этом велось с арьергардными боями, которые сильно изматывали противника. Причем Наполеон и его маршалы нередко принимали такие бои за начало генерального сражения, в то время как имели дело лишь с заслонами, прикрывавшими отход основных сил.
Между тем, армии Барклая и Багратиона успешно отходили в направлении Смоленска, куда 1-я армия прибыла 19 июля, а 2-я — три дня спустя. Собранные в Смоленске русские силы насчитывали около 120 тыс. человек, т. е. более 40 тыс. было потеряно убитыми, ранеными, больными, отставшими, дезертировавшими. Однако потери французов были больше. По некоторым данным, даже соединения, не участвовавшие в боях, в движении к Смоленску потеряли до 48 % своего личного состава. Армия, приведенная Наполеоном к Смоленску, насчитывала около 180 тыс. человек.
К моменту объединения 1-й и 2-й армий под Смоленском значительно усилились разногласия в русском военном руководстве. Во-первых, сказывалось отсутствие единоначалия. Барклай-де-Толли, хотя и занимал пост военного министра, не был главнокомандующим всеми вооруженными силами и формально имел в своем подчинении лишь 1-ю армию. Александр I медлил и не назначал главнокомандующего. Условия соблюдения секретности не позволяли Барклаю раскрыть тот факт, что он действует по плану, утвержденному царем, а тот, в свою очередь, тоже молчал, видя, что отступление вызывает осуждение в обществе. Во-вторых, сложность ситуации обуславливалась самой личностью Барклая и его взаимоотношениями с другими генералами и влиятельным петербургским высшим светом.
Разногласия со всей очевидностью проявились на собранном Барклаем в Смоленске военном совете. Практически все участвовавшие в нем генералы, среди которых был и брат царя, великий князь Константин Павлович, высказались за сражение, в то время как Барклай не считал возможным рисковать судьбой армии, численно уступавшей противнику. К тому же и сам Александр I, как было известно, в это время также высказывался за прекращение отступления. В результате родился своего рода компромисс: русская армия не перешла в наступление, но и не отступила. Решено было не отдавать Смоленск без боя, но вести его оборону ограниченными силами. 2 августа дивизия генерала Д. П. Неверовского ценой потери пяти шестых своего состава задержала наступление французов у села Красного, дав возможность русскому командованию сконцентрировать силы. 4 августа французы атаковали Смоленск, и под его стенами развернулось ожесточенное сражение, в котором обе стороны несли тяжелые потери и которое продолжалось весь следующий день.