Но Толстой в этом небольшом эпизоде романа, как, впрочем, и во многих других, отошел от исторической истины (за что он был жестоко раскритикован после опубликования "Войны и мира"). Маршал Даву, герцог Экмюльский, остановился в 1812 г. не в доме Щербатова, а в соседнем, стоящем далее по современной Погодинской улице, принадлежавшем в то время фабрикату С. А. Милюкову. Именно в этот дом привели будущего известного государственного деятеля, а тогда офицера русской армии В. А. Перовского, мемуарами которого воспользовался Л. Н. Толстой для описания злоключений Пьера Безухова.
В доме Щербатовых на Девичьем поле в начале XIX в. жила семья князя Дмитрия Михайловича, в которой часто гостили его племянники братья Михаил и Петр Чаадаевы и будущие декабристы Иван Якушкин и Федор Шаховской. На долю семьи Щербатовых выпало немало испытаний. Сын князя Иван пострадал из-за протеста солдат Семеновского полка, возмутившихся жестоким обращением полкового командира-Щербатов, разжалованный в солдаты, был отправлен на Кавказ, где скончался в 1829 г. Дочь Наталья вышла замуж за князя Ф. П. Шаховского. Она пользовалась вниманием двух будущих декабристов - Федора Шаховского и Ивана Якушкина, но предпочла первого. Якушкин был неутешен: "Я узнал, - пишет он Ивану Щербатову, - что твоя сестра выходит замуж - это был страшный момент. Он прошел. Я хотел видеть твою сестру, увидел ее, услышал из собственных ея уст, что она выходит замуж, - это был момент еще более ужасный. Он также прошел. Теперь все прошло". Якушкин хотел бежать в Америку сражаться за освобождение негров, думал о самоубийстве; после выступления 14 декабря на Сенатской площади его арестовывают и ссылают на 20 лет. Жизнь Натальи Щербатовой сложилась трагично: арест мужа, ссылка его на вечное поселение в Туруханск, где он сходит с ума. Благодаря ее хлопотам Шаховского переводят в суздальский Спасо-Евфимиев монастырь, и он умирает там через два месяца после приезда. Дальнейшая судьба щербатовской усадьбы связана с жизнью и работой замечательного русского историка Михаила Петровича Погодина. После продажи дома на углу Мясницкой и Большого Златоустинского переулка Погодин нашел другой на окраине Москвы, у просторов Девичьего поля - в декабре 183 5 г. он приобрел щербатовскую усадьбу.
Имя Погодина до последнего времени предавалось анаеме: защитник официальной правительственной линии в науке и преподавании, отнюдь не сторонник "революционных демократов". Но анафематствовавшие забывали сказать, что именно Погодин выступал с резкими высказываниями против существовавших в России порядков во времена Крымской войны, и именно Погодин был центром притяжения для представителей многих и самых разных кружков и направлений в русской культуре; поддерживал тесные отношения с А. С. Пушкиным, Н. В. Гоголем, и именно с Погодиным либо дружили, либо просто были знакомы почти все сколько-нибудь известные русские историки и литераторы: его дом на Девичьем поле видел, наверно, всех их. Как писал его добрый знакомый, "...его оценили, когда его не стало. Все поняли, что Погодиным, в том смысле и значении, какое он имел для Москвы и отчасти для славянских земель - быть не так легко, как это казалось со стороны..."