«Дворец в Воронове был великолепный и воистину величественный. Обстановка отличалась сказочной роскошью».
Только в 1812 году Александр Первый возвращает Ростопчина на государственную службу и назначает генерал-губернатором Москвы. На этом посту его и застает Отечественная война.
Во время отступления русской армии, в одну из сентябрьских ночей, Федор Васильевич Ростопчин сжигает свою роскошную подмосковную усадьбу. Он останавливается в Воронове в сопровождении англичанина лорда Тирконнеля и военного агента Вильсона:
— Господа генералы, прошу вас оказать мне услугу и поджечь покои на первом этаже дворца.
— Но граф, рука не поднимается уничтожить все это великолепие.
— Прошу вас! Сам я предам огню все остальные постройки.
Рухнула скульптурная группа над главным входом.
— Я доволен! Я поджег свой дворец, который стоил мне миллион, чтобы он не был осквернен присутствием французов.
Центральный корпус дворца сгорел не дотла и впоследствии был восстановлен, правда, без прежнего великолепия.
В народе Ростопчину приписывали поджог самой Москвы. А. С. Грибоедов в поэме «Горе от ума» говорит о московском коменданте как о человеке трусливом и бездарном. Несправедливым и жестоким предстает генерал-губернатор Москвы и со страниц романа Л. Н. Толстого «Война и мир». И в то же время современники писали о нем как о человеке, обладающем душой благородной и возвышенной. Он был убежденным монархистом, крепостником, но перед смертью отпустил на волю всю свою дворню. На посту генерал-губернатора Москвы отказался от жалованья и не хлопотал о пенсии. Самозабвенно любил жену, но когда она перешла в католичество, переписал завещание в пользу сына. Под одним из своих портретов Федор Ростопчин собственноручно написал: «Я родился татарином, хотел быть римлянином, французы прославили меня варваром, а русские Жоржем Данденом».
После смерти Федора Васильевича в 1826 году семья Ростопчиных продолжает жить в Воронове летние месяцы. Владельцем усадьбы становится Андрей Федорович Ростопчин, мало проявивший себя как личность, не имеющий особых достоинств, кроме своего графского титула и богатства, в отличие от своей жены, Евдокии Петровны Ростопчиной, известной поэтессы.
Евдокия Петровна Ростопчина, в девичестве Сушкова, дворянского происхождения, родилась в 1811 году в Москве, в доме своего деда на Чистых прудах. Маленькая Додо, как называли ее, шести лет лишилась матери и осталась на попечении семейства Пашковых — деда и бабки по материнской линии. Отец, Петр Васильевич, чиновник, находясь по долгу службы в постоянных разъездах, почти не уделял ей внимания. Обучением девочки занимались гувернантки и домашние учителя: немного истории, географии, арифметика, русская грамматика, игра на фортепиано, рисование, танцы. Овладев французским языком и немецким, она самостоятельно изучила английский, итальянский и уже в отроческие годы увлеклась поэзией. Двенадцатилетней девочкой стала сочинять стихи.