Усилиями А. А. Прозоровского, способного военачальника, участвовавшего в присоединении к России Крыма, а с 1808 года состоявшего главнокомандующим русской армией, действовавшей против турок, предпринимается строительство набережной Москвы-реки от устья Неглинной до устья Яузы, иначе говоря, от Каменного до Устьинского моста, причем вдоль кремлевской стены высаживаются два ряда деревьев, начинается сооружение огромного Гостиного двора в Китай-городе между Ильинкой и Варваркой.
В момент вступления в Москву наполеоновских войск дом генерал-губернатора оказывается одним из очагов сопротивления захватчикам. В его дворе французская часть была встречена стрельбой укрывшихся там дюжих молодцов, вооруженных ружьями и кольями, как вспоминал впоследствии один из наполеоновских солдат. Пожар 1812 года не затронул дома. По словам современника, «Тверская от Тверских ворот до дома Главнокомандующего по обеим сторонам вся цела, а потом… до Моховой вся выгорела по обеим сторонам». Зато отстраивалась улица на редкость быстро. Созданная в целях организованного восстановления города Комиссия для строений, предложившая перепланировку многих московских площадей, Тверскую решила оставить нетронутой. Через двадцать с небольшим лет писатель П. Ф. Вистенгоф сможет с полным основанием сказать: «Тверская — главная московская улица, идущая от Петербургской заставы к Тверским воротам (Китай-города); здесь находятся лучшие гостиницы для приезжающих, магазины, кондитерские лавки, множество красиво отстроенных домов и дом московского военного генерал-губернатора… Вот места, где наиболее проявляется народное движение».
Значение Дома главнокомандующих в культурной жизни города менялось в зависимости от тех, кто его занимал. Не установлено, бывал ли в нем А. С. Пушкин, но многие литераторы и музыканты стали частыми гостями любимого москвичами Д. В. Голицына, занимавшего генерал-губернаторскую должность в течение 1820–1844 годов. Внучатый племянник З. Г. Чернышева, герой Отечественной войны 1812 года, прославившийся блестящим участием в Бородинском сражении, Д. В. Голицын был известен и своей невольной связью с пушкинской «Пиковой дамой». Его мать стала для поэта прообразом старой графини.
Белый (танцевальный) зал. 1890-е гг.
Нередко в доме на Тверской отмечались различные события общественного значения, например в 1856 году, когда Москва торжественно принимала героев Севастополя. Членам флотских экипажей были посвящены прозвучавшие в его стенах строки Евдокии Растопчиной:
Ура! Защитники России,
Добро пожаловать в Москву,