Коновницын позднее вспоминал, что от решения отступать у всех генералов волосы встали дыбом, ибо все время после Бородинской битвы Кутузов объяснял отступление поиском новой удобной позиции для еще одного сражения. А теперь он приказал сдать Первопрестольную без боя.
Имеются воспоминания о том, что ночью адъютант Кутузова будто бы слышал, как тот плакал. После этого российской армии, которая еще днем перед этим готовилась к бою, был отдан приказ отступать. Это вызвало всеобщее недоумение и ропот.
Генерал от инфантерии Дохтуров, который на совете поддержал идею нового боя под Москвой, писал в письме жене: «Я, слава Богу, совершенно здоров, но я в отчаянии, что оставляют Москву. Какой ужас! Мы уже по сю сторону столицы. Я прилагаю все старание, чтобы убедить идти врагу навстречу… Какой стыд для русских покинуть Отчизну без малейшего ружейного выстрела и без боя. Я взбешен, но что же делать? Следует покориться, потому что над нами, по-видимому, тяготеет кара Божья. Не могу думать иначе. Не проиграв сражения, мы отступили до этого места без малейшего сопротивления. Какой позор! Теперь я уверен, что все кончено, и в таком случае ничто не может удержать меня на службе».
Несомненно, решение оставить Москву требовало необыкновенного мужества, поскольку мера ответственности за сдачу исторической столицы неприятелю была очень велика и могла обернуться для главнокомандующего отставкой. Тем более, никто не мог предсказать, как это решение будет воспринято при императорском дворе.
По окончании военного совета Кутузов вызвал к себе генерал-интенданта Д. Ланского и поручил ему обеспечить подвоз продовольствия на рязанскую дорогу. Чтобы избежать возмущения и паники жителей Москвы, отступление через город производилось ночью. Стоит отметить, что решение об отступлении застало врасплох и московские власти во главе с графом Ростопчиным.
4 (16) сентября Кутузов писал Александру I: «Осмеливаюсь, всеподданнейше донести вам, Милостивый Государь, что вступление неприятеля в Москву не есть еще покорение России… Теперь в недальнем расстоянии от Москвы, собрав мои войска, твердою ногою могу ожидать неприятеля, и пока армия Вашего Императорского Величества цела и движима известною храбростию и нашим усердием, дотоле еще возвратная потеря Москвы не есть потеря отечества. Впрочем, Ваше Императорское Величество, всемилостивейше согласиться изволите, что последствия сии нераздельно связаны с потерею Смоленска и с тем расстроенным совершенно состоянием войск, в котором я оные застал».
По сути, решение оставить Москву вело к падению авторитета не только главнокомандующего Кутузова, но и самого Александра I. Об этом свидетельствует, прежде всего, письмо великой княгини Екатерины Павловны к императору: «Мне невозможно далее удерживаться, несмотря на боль, которую я должна вам причинить. Взятие Москвы довело до крайности раздражение умов. Недовольство дошло до высшей точки, и Вашу особу далеко не щадят. Если это уже до меня доходит, то судите об остальном. Вас громко обвиняют в несчастье, постигшем Вашу империю, во всеобщем разорении и разорении частных лиц, наконец, в том, что Вы погубили честь страны и Вашу личную честь. И не один какой-нибудь класс, но все классы объединяются в обвинениях против Вас. Не входя уже в то, что говорится о том роде войны, которую мы ведем, один из главных пунктов обвинений против Вас – это нарушение Вами слова, данного Москве, которая Вас ждала с крайним нетерпением, и то, что Вы ее бросили. Это имеет такой вид, что Вы ее предали. Не бойтесь катастрофы в революционном роде, нет. Но я предоставляю Вам самому судить о положении вещей в стране, главу которой презирают… На Вас жалуются и жалуются громко. Я думаю, мой долг сказать Вам это, дорогой друг, потому что это слишком важно. Что Вам надлежит делать, – не мне Вам это указывать, но спасите Вашу честь, которая подвергается нападениям…».