Административная деятельность З. Г. Чернышева оставила заметный след в истории планировки и застройки Москвы. Хотя указ Екатерины II о сносе стен Белого города последовал еще в 1764 году, а указ о разбивке на их месте бульваров (нынешнее кольцо "А") был издан в 1775-м, только З. Г. Чернышев по-настоящему взялся за проведение его в жизнь. При нем разбивается первый участок бульварного кольца — от Никитских до Петровских ворот, начинает приводиться в порядок Земляной город (кольцо "Б") — благоустраивается отрезок длиной в 2 версты 180 сажен от Триумфальной площади до Спиридоновки. По улицам и переулкам устанавливается 989 фонарей (всего их предполагалось в городе 3500). Население Москвы в это время, согласно докладу Чернышева, составляло 125 362 человека. При поддержке главнокомандующего составляются проектные планы строений в уездных городах. В самой столице ведется починка башен и стен Китай-города.
Тверская улица. Автолитография с оригинала А. Кадоля. Первая четверть XIX в.
Особые трудности представляла нехватка строительных материалов, в частности кирпича и черепицы, которую архитекторы предпочитали остальным видам кровельных покрытий. Несмотря на растущий спрос, число кирпичных заводов сокращалось. Если в 1753 году их насчитывалось в Москве семьдесят три, то в 1760-м тридцать семь, а в 1774-м и вовсе тридцать, вырабатывавших в год около 30 миллионов штук кирпича. Любопытно, что больше половины из них располагались за Калужскими воротами, пять за Пречистенскими. Отдельные администраторы тех лет объясняли подобное сокращение попыткой государства подчинить кирпичное производство своим планам и установить контроль цен. Существенной помощью в этом трудном для Москвы положении становится разборка стен Белого города, материал которых идет на строительство казенных зданий, в том числе Воспитательного дома (ныне Военная академия им. Ф. Э. Дзержинского), ремонт Арсенала Кремля. Пользуется этим материалом для своего дома и З. Г. Чернышев.
Со смертью З. Г. Чернышева в 1784 году его дом был приобретен казной и стал использоваться как казенная квартира генерал-губернаторов. В «Плане столичного города Москвы», составленном Марченковым и изданном Кольчугиным в 1789 году, он так и значится под номером 75 как «Дом главнокомандующих».
В 1790 году очередной московский главнокомандующий генерал-фельдмаршал А. А. Прозоровский получает разрешение на разбивку перед домом площадки для установления на ней «щита» — флага, около которого предполагалось производить несколько раз в день церемонию смены воинского караула. Соответственно, был приобретен казной и снесен лежавший по другую сторону улицы двор Долгоруковых. Образовавшийся плац получил название Тверской площади, ранее применявшееся к Триумфальной площади. Проект архитектурного оформления новой площади принадлежал М. Ф. Казакову, но остался неосуществленным из-за финансовых затруднений, которые переживало русское государство в связи с турецкой войной.