Но до 1825 года еще далеко, а бессознательное младенчество Шушки продолжается.
Из тверского имения дяди Петра Яковлева Луиза Ивановна с домочадцами вскоре перебралась в ярославское владение Ивана Алексеевича, сельцо Глебовское Романовского уезда, куда из Петербурга 12 октября явился сам хозяин. В освобожденную Москву возвращались по весне 1813 года. После московских пожарищ старая столица покоилась в развалинах. Герцен еще мальчиком помнил обуглившиеся остовы некогда роскошных строений, но уже видел, как возрождался этот «огромный пестрый гигант». Дома ближайших родственников в пожаре не устояли, но вот дом, где он родился, чудом уцелел.
Это был тот самый дом, где по возвращении из чужих краев Иван Алексеевич с Луизой временно поселились. Здесь, на Тверском бульваре, у Александра Алексеевича, старшего из Яковлевых (пока еще не вышло смертельной ссоры между братьями, конечно же из-за наследства), в бельэтаже его обширного ампирного особняка с портиками и полуколоннами, с рельефами грифонов над окнами, и начал свой жизненный путь нежный белокурый мальчик, названный Александром по крестному отцу, хозяину дома и, несомненно, в честь высочайшего покровителя. (Отныне благословляли Герцена на резких жизненных поворотах иконой Александра Невского.) Через пять лет в той же комнате того же особняка родилась кузина Герцена, будущая его жена, незаконная дочь дяди Александра Алексеевича — Наташа Захарьина.
Герцен потом не единожды входил в этот торжественный особняк. Пересекал вестибюль, поднимался по белокаменной лестнице. Вот здесь была огромная зала с высоким подиумом для представлений крепостного сераля распутного дядюшки; в комнатах — нагромождение редкой мебели, внушительная вереница фамильных портретов, всякие заморские диковины, до которых был так охоч хозяин. Его большой парадный портрет, где он в пудреном парике и со всеми аксессуарами костюма павловского времени (нетрудно спутать и с самим императором), Герцен, несомненно, видел. Воспроизведенный им в «Былом и думах» словесный портрет «страшного человека» был намного красочнее, ярче.
«Это было одно из тех оригинально-уродливых существ, которые только возможны в оригинально-уродливой русской жизни. Он был человек даровитый от природы и всю жизнь делал нелепости, доходившие часто до преступлений. Он получил порядочное образование на французский манер, был очень начитан, — и проводил время в разврате и праздной пустоте до самой смерти». Ни дипломатическая служба, ни присутствие в Синоде в должности обер-прокурора «не могли укротить необузданный характер его». За ссоры с архиереями и дерзкие выходки в официальных собраниях он был отставлен отдел и сослан из Петербурга в свое имение. «…Там, — свидетельствовал Герцен, — мужики чуть не убили его за волокитство и свирепости… После этого он поселился в Москве. Покинутый всеми родными и всеми посторонними, он жил один-одинехонек в своем большом доме на Тверском бульваре, притеснял свою дворню и разорял мужиков. <…> Лишенный всяких занятий и скрывая страшное самолюбие, доходившее до наивности, он для рассеяния скупал ненужные вещи и заводил еще более ненужные тяжбы… <…> Будучи в отставке, он, по газетам приравнивая к себе повышение своих сослуживцев, покупал ордена, им данные, и клал их на столе как скорбное напоминанье: чем и чем он мог бы быть изукрашен!»