Императору такая встреча, столь быстро организованная, видимо, очень понравилась. Он обошелся со всеми милостиво и объявил, что хочет быть запросто, требуя, чтоб и с ним все были тоже запросто. Позавтракав чем Бог послал, но очень вкусно и сытно, он разговорился с Щербаковым самым задушевным образом и, видимо, довольный его беседой, выразил желание остаться у него ночевать. Изумленные хозяева, ног под собою не слыша от радости, и от испуга, и от боязни, как бы чем не потревожить и не прогневать нежданного державного гостя, задумались над вопросом, где же его положить, – и не нашли ничего лучше, как на широком мягком диване, стоявшем в главной комнате. Государь против того ничего не возразил. Наутро, прощаясь с счастливыми хозяевами, он поблагодарил их за гостеприимство и радушное угощение и, вручив Щербакову свой портрет, выразил желание, чтобы он всегда помещался в спинке дивана».
Данила Никитич ничего не менял в этой комнате, где почивал государь, то же завещал и своему сыну Якову Щербакову, который впоследствии был владельцем дома более 50 лет.
После смерти Якова Щербакова, дом перешел к его вдове Евфимии Тиховне, урожденной Тюляевой, дожившей до глубокой старости и умершей в 1860-х годах.
Последними владельцами дома до революции были купцы братья Сергей и Иван Смирновы. Они владели домами и меблированными комнатами, им принадлежало несколько домов в ближайшей окрестности.
Две улицы в Москве, продолжавшие одна другую, носили почти одинаковые названия – Покровка и Покровская, что служило причиной многих недоразумений. Первая улица начиналась у одноименных ворот Белого города, шла до Земляного вала и называлась по церкви Покрова, а вторая – от перекрестка с Немецкой улицей до реки Яузы.
Покровская улица (переименованная в 1918 году в Бакунинскую) была незамощенной широкой дорогой от города к подгородному селу Рубцово (или Рыбцово), где любили отдыхать летом члены царской семьи.
Здесь у них находились деревянные хоромы, окруженные многочисленными постройками, медоставы, пивоварни, огороды, плодовые сады и, естественно, липовая баня.
По переписным книгам XVI века сначала селом владел Протасий Васильевич Юрьев, троюродный брат патриарха Филарета, потом боярин Никита Романович Захарьин, брат первой жены царя Ивана Грозного; позднее оно перешло к «великой старице» Марфе, бывшей до насильственного пострижения женой Федора Никитича, сына боярина Никиты Романовича, ставшего патриархом Филаретом.
После постройки в селе церкви Покрова в начале XVII века оно стало называться Покровским. Царь Михаил Федорович любил Покровское и, как говорят, жил здесь первое время после избрания на царский трон.