В приходе церкви Святого Власия, что в Старой Конюшенной, у отставного поручика А. П. Румянцева по купчей, заключенной 7 августа 1823 года за десять тысяч рублей ассигнациями, Иваном Алексеевичем был куплен дом. Дом, похожий на тюрьму, фабрику или больницу, темный и печальный…
После переезда Льва Алексеевича жизнь во владении Яковлева как-то погрустнела и замерла. Не было волшебных праздников и уморительных забав, которые без устали устраивал любимец Шушки, камердинер Сенатора — добрейший Карл Иванович Кало. Обе нянюшки — мадам Прово, учившая его немецкому, и завзятая рассказчица Вера Артамоновна теперь не привлекали внимания живого, любознательного подростка. С ними ему стало скучно. Другое дело — девичья и передняя, где вечно толпилось множество всякого люда — горничные, прачки, мальчишки с девчонками, которых, как вскоре ему открылось, «приучали к службе, то есть к праздности, лени, лганью и к употреблению сивухи». Эти оазисы человеческих индивидуальностей виделись ему сущим раем. В доме, где всё трепетало перед дергерром, предоставленный себе Шушка чувствовал себя весело, свободно, раскованно: знал все тайны дворовых, «судил и рядил», держал сторону одной партии против другой и никогда никого не выдал, не проболтался.
Крепостные его любили. «Прислуга чрезвычайно привязывается к детям, — подметит позже Герцен, — и это вовсе не рабская привязанность, это взаимная любовь слабых и простых».
Многочисленную дворню в доме Яковлева физически особенно не притесняли, но бесконечные мелочные придирки, капризы и нравственные поучения хозяина били подчас больнее, чем розги на конюшне. Русский человек вообще не любит, чтобы его учили. Телесные наказания были редкостью. Но вот страшных сцен, когда дворовых забривали в солдаты, когда ломались их жизни, юному барчуку не избежать: «Я довольно нагляделся, как страшное сознание крепостного состояния убивает, отравляет существование дворовых, как оно гнетет, одуряет их душу». Долгие годы не умолкал в его памяти отчаянный вопль крепостного Толочанова, принявшего яд в безысходный момент своей рабской судьбы: «Жжет! Жжет! Огонь!»
Историю эту, каких немало было в России, о несвободном человеке, возмечтавшем о свободе, и «плантаторах», хозяевах, не желавших снять со своих рабов «веревку крепостного состояния», хорошо запомнил будущий мемуарист. С годами у него накапливались «факты для изучения человеческого сердца», возникали образы — жертв и страдальцев, дилетантов и «фанатиков рабства», особой домашней породы слуг, «бессознательно втянувшихся в поэзию передней» (подобно их домашнему лакею Бакаю) и до глубокой старости воображавших, «что положение лакея одно из самых значительных». Передняя тем не менее «не сделала никакого действительно дурного влияния» на Шушку, но вот «непреодолимая ненависть ко всякому рабству и всякому произволу» осталась навсегда.