Впрочем, размеренная и однообразная сельская жизнь скоро наскучила князю и он затеял большое строительство.
Списавшись с известным архитектором Василием Баженовым, Долгоруков пригласил его к себе погостить и в одном из разговоров предложил построить в Полуэктове новый усадебный дом.
Баженов поначалу ответа не дал, но захотел осмотреть место, которое князь выбрал для будущего дома, походил по окрестностям и уехал, обещав подумать над его предложением.
Вскоре зодчий вернулся в село, но вернулся не с пустыми руками — привез с собой план великолепного усадебного ансамбля. Конечно, это был предварительный набросок, который надлежало еще уточнить на месте, для чего, собственно, он и пожаловал в Полуэктово.
Согласно предложенного Баженовым плана, вход в будущую усадьбу и на парадный двор должны были предварять два высоких белокаменных обелиска. Двор планировалось сделать круглым, поставив в центре его большой двухэтажный дом с четырехколонным портиком, с цветниками перед ним и спуском к реке Озерне. С обоих сторон дома располагались по два флигеля, а всю усадьбу предполагалось окружить прекрасным парком.
Долгорукову план так понравился, что он тут же заказал подобную усадьбу и в другом своем владении — Знаменском-Губайлово.
Денег на строительство Василий Михайлович не пожалел, и все работы были закончены весьма скоро. А потом он попросил украсить губайловскую церковь Знамения Пресвятой Богородицы двумя мраморными барельефами, привезенными в свое время Из Кафы в качестве своеобразного трофея. Барельефы с изображениями Георгия Победоносца и Марии Магдалины были старые, XIV века, и единственными в своем роде не только в Подмосковье, но и, пожалуй, во всей России. Посещая эту церковь, князь обычно подолгу стоял у барельефов в тихой задумчивости, вспоминая свой знаменитый «Крымский поход». А потом, грустно вздыхая, согнув по-стариковски спину, медленно шел по дорожке домой.
Здесь, в Полуэктове, Долгоруков узнал о новом вторжении в Крым русских войск, которыми командовал теперь генерал-поручик Прозоровский, о возведении на ханский престол Шагин-Гирея и последовавшем в начале октября 1777 года татарском восстании против нового хана.
Сидя в кругу домочадцев, Василий Михайлович нахваливал Прозоровского и был уверен, что тот быстро подавит вспыхнувший бунт.
— Генерал всегда был человеком беспредельной храбрости и отваги. Только ему я доверял самые трудные и решительные дела, ибо был уверен, что исполнит он их точно, как я задумал… Жаль только, что Румянцев командует всеми войсками на юге империи. Боюсь, что по своей вредной придирчивости и жажде подмять под себя всех, фельдмаршал станет совать палки в колеса князю Александру.