Герцен протестовал против подобного безграмотного добавления. Разгорелась нешуточная полемика насчет выдумки издателей (какой-то анонимный обличитель даже пытался обвинить в обмане самого Герцена, якобы выдающего себя за мужественного заключенного, этакого русского Сильвио Пеллико), и в части тиража слово «Сибирь» было устранено.
Кстати, заметим здесь, что Герцен с понятной символикой подписал одну из своих первых статей на Западе псевдонимом «Варвар», причисляя себя к людям нового мира, разрушителям всего старого и отжившего. Это была постоянная его аналогия с варварами, некогда уничтожившими разложившуюся римскую цивилизацию, на месте которой неотвратимо возникали новые формы жизни. В письме доверенному другу Рейхель дошли до нас и его слова: «…варвар, осмелившийся быть свободным человеком между крамольными холопами Запада».
Сочинения выдающегося писателя, «воссоздающего с большим успехом, чем кто-либо из прежних авторов, общественную и официальную жизнь в России», были встречены некоторой частью западной прессы с немалым энтузиазмом, что позволило работу продолжить. Наиболее близкий в ту пору Герцену Иван Тургенев, живший в Куртавнеле, прочитав отрывки из первой части записок, сразу же откликнулся: «Это прелесть — и только остается сожалеть о неверностях в языке. Но ты непременно продолжай эти рассказы: в них есть какая-то мужественная и безыскусственная правда — и сквозь печальные их звуки прорывается, как бы нехотя, веселость и свежесть. Мне всё это чрезвычайно понравилось — и я повторяю свою просьбу — непременно продолжать их, не стесняясь ничем».
На очереди было завершение части четвертой «Москва, Петербург и Новгород (1840–1847)», составившей девять глав (XXV–XXXIII). К главе XXIX вторым разделом присоединились воспоминания о Грановском «На могиле друга». Затем были написаны главы «Н. X. Кетчер (1842–1847)» и «Эпизод из 1844 года» о В. П. Боткине. Работа над четвертой частью, заключавшей прожитую Герценом жизнь в России, растянулась на несколько лет (1854–1857). Уже к 1855 году были завершены пять из восьми «русских» частей мемуаров. Потом «Былое и думы», эпизод за эпизодом, писала сама жизнь. Понадобилось еще более десяти лет жизни, продолжающейся вне России, чтобы довести до видимого конца этот грандиозный шестнадцатилетний труд. Последняя, известная дата, которую Герцен поставил под своим неоконченным творением — 10 марта 1868 года.
Широкий идейный, философский и бытовой фон, лирические отступления, социально-исторические характеристики раздвигали рамки повествования, расширяли топографию и хронологию былого. В мемуарах открывалась широчайшая панорама, охватившая жизнь целых стран, наций и их выдающихся представителей, сторонников, друзей, недругов Искандера, обычных простых людей и, конечно, вобравшая нескончаемую череду грандиозных событий, свидетелем и участником которых, в России и на Западе, был чрезвычайно одаренный социальный наблюдатель. По мере продвижения по жизни несравненного мемуариста и великого полемиста, о чем читателю нашего рассказа уже достаточно известно, емкость его записок всё увеличивалась и галерея образов становилась всё более тесной.