Но жизнь в этом доме не заладилась с самого начала. Легкомысленная актриса вскоре влюбилась в рокового поэта, фабрикант застрелил ее и был сослан на Сахалин, в каторгу, его наследники стали сдавать особняк в аренду, а вокруг построили несколько десятков двухэтажных домиков под сдачу внаем. Так началась история дачного поселка Жукова Гора.
Этот дом повидал много разных людей – блестящих гвардейских офицеров и их блестящих любовников, известных живописцев и именитых писателей, бритоголовых советских маршалов и мускулистых гражданеток в кумачовых платочках, много их было – молодых и усталых, полных надежды и убитых горем, с бокалом шампанского в руке и в наручниках…
Этот дом хранил память обо всех этих людях – шепоты и крики, запахи плоти, вина и крови, горячего воска и горелого пороха, ненависти и страха, хранил старинные тени в зеленоватой глубине высоких зеркал…
Иконы сменялись портретами – сначала Чернышевского, Льва Толстого и Леонида Андреева, затем – Ленина, Кропоткина и Троцкого, а потом – Сталина, которые с каждым годом становились больше, больше и больше. Под этим портретом хозяева праздновали новоселья и на этот портрет бросали последний взгляд, когда их уводили из дома навсегда…
В середине тридцатых здесь поселился генерал Осорьин с семьей.
Дмитрий Николаевич Осорьин принадлежал к старинному княжескому роду. Впервые князья Осорьины упомянуты в русских летописях в 1255 году, когда один из них остановил вторжение литовцев, разгромил их и прошелся по литовским городам и деревням, не оставляя после себя в живых даже собаки, которая могла бы лаять ему вслед. Род Осорьиных обеднел при Иване Грозном и поднялся при Петре Великом. А в 1805 году в битве под Аустерлицем подполковник Осорьин со своим батальоном несколько часов сдерживал натиск кавалерии Мюрата, прикрывая отступление русской армии. Шестьсот пехотинцев, выстроившись в каре, отбили двенадцать атак французской конницы. Невзирая на ранение в плечо, князь Осорьин так и не переложил шпагу в левую руку, а его голос перекрывал шум сражения: «Держать строй! Держать строй!» Семеро солдат, знаменосец и командир – вот и все, что осталось от батальона, не сдавшего позиций. Когда Наполеон назвал истекавшего кровью Осорьина «храбрецом» и «безумцем», тот возразил: «Я только держал строй, ваше величество. Держал строй». По возвращении домой князю Осорьину именным указом было разрешено начертать на фамильном гербе девиз, который остался в истории: «Держать строй!»
Дмитрий Осорьин был одним из двухсот генералов царской армии, которые после октября 17-го перешли на сторону большевиков. Он преподавал в Академии Генерального штаба РККА. От первого брака у него было двое сыновей, от второго – две дочери. Он умер от болезни сердца вскоре после второй германской войны, пережив сыновей-офицеров, которые в годы Большого террора были расстреляны как враги народа, шпионы и заговорщики.