В 1846 г. у 34летнего А.И. Герцена умер отец, тогда он, став обладателем весьма внушительного состояния, в 1847 г. отправился путешествовать, начал с Франции. За границей ему не понравилось, хотя он много где побывал во Франции, Швейцарии, Италии, завел интересные знакомства. В Москву он писал письма, полные крамольных идей. Правительство царя Николая I потребовало (1850), чтобы Герцен вернулся в Россию, он отказался, потому что знал, что на Родине он скорее всего будет арестован и отправлен в очередную ссылку. Герцен был вынужден стать политическим эмигрантом. В 1850 г. царское правительство лишило 38летнего Герцена всех прав состояния и признало его за «вечного изгнанника из пределов Российского государства». В таких условиях жить Герцену стало гораздо труднее, тем более что он был обязан обеспечить жизнь своей жене и детям.
При всем его мощном складе ума, стремлении решать российские и мировые социальные и научные проблемы, он не смог создать достойные условия для жизни своей семьи, а возможно, и не слишком думал о «мелких» проблемах отдельной семьи, берег себя для обмозгования глобальных вопросов. В его с Н.И. Герцен (Захарьиной) браке было 9 детей, причем пятеро из них умерли в раннем детстве. Все их бытовые проблемы приходилось в большой мере решать его жене, которая устала от такой жизни и в начале 1850х гг. увлеклась немецким поэтом и политическим деятелем Георгом Гервегом и хотела уйти к нему от Герцена. В это время высланный из Парижа Герцен, его жена и сын Александр жили в Ницце, где они и познакомились с приехавшими супругами Гервегами. Герцен не сразу, но все же догадался, что отношения Г. Гервега к его жене переходят дружеские, а она сочувствует его милым страданиям и нешуточно увлечена им. В 1849 г. Герцены переселились в Швецарию. Хотя в 1850 г. у них родилась дочь Ольга и отношения в семье более-менее нормализовались, а с Г. Гервегом больше личных встреч не было, он вел себя недостойно по отношению к их семье. Например, он клеветал на несчастную и больную Наталью Александровну, что вело к новым осложнениям в семье Герценых. В этот период в Ницце на их семью обрушилось новое непоправимое горе. В 39 лет Герцен и его семья пережили (1852) гибель во время кораблекрушения его 56летней матери и их младшего 8летнего глухонемого сына Николая.
Постепенно все-таки стали снова налаживаться отношения Герцена с женой, тут Гервер (не отличавшийся большой порядочностью) прислал Александру Ивановичу письмо с вызовом на дуэль. Дуэль не состоялась, но низость и вероломство Гервега окончательно доконали Наталью Александровну. Весной 1852 г. она родила сына, но новорожденный прожил только сутки, а еще через сутки умерла сама она и была похоронена в Ницце. Смерть любимой жены была для Герцена тяжелейшим ударом, до конца оправиться от него он так и не смог. Получилось, что за 5 с половиной месяцев в Ницце (16 ноября 1851—3 мая 1852) А.И. Герцен потерял четырех дорогих людей. На его руках остались трое детей: Александр 13 лет, Наталья 8 лет, Ольга 4 года. Для Герцена наступил трудный период. Он искал спасения в активной общественной деятельности, в подготовке публицистических работ, организации народного движения. Для детей, потрясенных событиями в их семье не меньше, чем он, у него не оставалось необходимых сил, времени, терпения, любви, что сказалось на их психике и общем физическом здоровье. Герцен мечтал вернуться в Россию, но не мог это осуществить. Спасением для него снова стала работа, он начал писать свою книгу-исповедь, ставшую одним из его крупных и значительных художественных произведений – «Былое и думы» (1852—1868), ставшую энциклопедией жизни в России и Европе в первой половине ХIХ в., одним из шедевров русской мемуарной литературы.