В 1858 году родилась ее первая дочь Лиза, в 1861-м – двойня Лёля-bоу и Лёля-girl, как их прозвали. Н.А. была страстная мать и всецело отдалась детям. Но ее счастье, все-таки больное счастье, длилось недолго. Вслед за крушением «Колокола» в 1863 году, в конце следующего года, вдруг, в несколько дней, умерли от дифтерита двое ее маленьких Лёль. Герцен был, можно сказать, тяжело контужен, а Н.А. ранена насмерть. И это была еще только первая из многочисленных потерь, которые предстояли ей в ее слишком долгой жизни; впереди было еще полвека – кто мог это предвидеть? – и несколько смертей, отчасти еще более ужасных.
Роковая ошибка Н.А. (если только можно думать, что это во власти человека) заключалась в том, что после смерти детей она сразу выпустила вожжи и без удержу предалась своей мятежной боли. Детей нет – ей больше жизнь не нужна, она хочет к ним, умереть: это она твердила отныне целые годы. Она и всегда была склонна к мрачным чувствам, к угрызениям совести, теперь же вовсе погрузила свою душу во мрак. Имей Наталия Алексеевна силу вернуться к жизни, всё пошло бы иначе.
По-видимому, она утвердилась в мысли, что своим соединением с Герценом навлекла проклятие на себя, на Герцена и на детей. Она удаляется от Герцена, переезжает с Лизой с места на место и изнуряет Герцена и Огарева мрачными и страстными письмами. Герцену, который и сам был наполовину сломлен, нужна была не такая подруга; эти письма мучили его, и мучило его сознание своего греха, своей ошибки. В этой тяжелой атмосфере еще и всякое деловое решение – где прожить лето, в какую школу отдать Лизу и т.п. – принимало уродливый оборот; в желаниях Н.А. было всё: самозаклание, аскетизм, по-своему горячая любовь – не было только логики. Герцен раздражался и болел душой, Огарев тщетно силился водворить мир. Этой сплошною мукой были наполнены последние шесть лет жизни Герцена; при других условиях его крепкий организм, вероятно, не так скоро сдался бы диабету.
После смерти Герцена (1870 год) Н.А. нашла временное утешение в заботах об издании его сочинений: так называемое женевское издание было осуществлено главным образом ее усилиями и ее личным трудом (много помог ей в этом деле умерший тоже недавно Григорий Николаевич Вырубов).
Лиза вырастала очень умной и способной девочкой, развитой не по летам и, кажется, не по летам своевольной. Мрачный характер матери и ее неправильный способ воспитания (в сочетании деспотизма с чрезмерной свободой) привели к тому, что Лизе было нестерпимо жить с нею. У Лизы была фантастическая голова; шестнадцати лет она влюбилась в известного французского социолога Летурно, человека женатого. Летурно, по-видимому, неосторожно ласкал неуравновешенную девочку; кончилось тем, что в ноябре 1875 года Лиза наложила на себя руки (она отравилась, вдыхая хлороформ, в доме Александра Герцена во Флоренции).