Доподлинно известно, что возле «Тайной вечери» шел разговор о разрыве Герцена с Грановским. О предательстве Каткова — издатель «Московских ведомостей», «гнусный доносчик» и «обер-шпион» был когда-то либералом, «Белинский вел его, возлагал на него свою надежду». Скорее всего, они говорили и об Иване Сергеевиче Аксакове, том самом человеке «от Герцена», которого десять лет назад встретил Ге. Накануне отъезда из Флоренции Герцен написал «Письмо к И. С. Аксакову» (месяц спустя «Ответ И. С. Аксакову»). Герцен писал, что, если бы не «какая-то неискореняемая память сердца», он отвечал бы Аксакову «жестко». Однако письмо начинается словами: «Мы с вами совершеннейшие противники». В «Ответе И. С. Аксакову» Герцен писал о побивавших его каменьях, «на которых часто оставались следы пальцев, очень недавно жавших с дружбой и сочувствием наши руки», о том, как с изменением «всей атмосферы» изменились (изменили!) те, с которыми он начинал.
Все эти разрывы, предательства, споры, непонимания — факты не личной жизни Герцена. Они принадлежат истории Времени.
Ге упоминает в своих записках и о той стороне жизни Герцена, которая была достоянием лишь людей самых близких… «Семейная жизнь сломилась: дети… дети всегда живут своею жизнью и подтверждают истину: пророк чести не имеет в доме своем… Он страдал от того узкого мещанства, которым жили в круге знакомых и приятелей его детей».
Дневниковые записи шестидесятых годов Герцен назвал однажды «Книгой Стона». Он говорил, что в этих записях только «боль — беда — тревога». Тема записей — семейный разлад. Отношения в семье сложные и тяжкие — мучительные. Еще мучительнее другое: семья, воспитание детей, связь поколений долгое время составляли предмет его дум — теперь идеалы, к которым он приходил, рушились в стенах его дома. Оставалось горькое сознание: «Мы ничего не создали, не воспитали». Он страдал не только оттого, что с детьми жили порознь; больше оттого, что духовно были порознь. Дети не стали наследниками, просто переняли кое-что по наследству.
В «Ответе И. С. Аксакову» Герцен писал, что отдал свою жизнь России, «для нее работал, как умел, всю молодость и двадцать лет на чужбине продолжал ту же работу». Дети жили и мыслили вне России, они знали о ней от других, становились иностранцами. Герцен радовался научным познаниям сына Саши, однако напоминал, что специализации мало, нужен «серьезный философский общий взгляд». Он приводил сыну в пример Пирогова, который, будучи крупным ученым, и на общественном поприще самоотверженно служил России. Саша выступал с лекциями, боролся по-своему в науке, но становился благополучным швейцарским профессором.