«Милостивый Государь Батюшка Афанасий Николаевич, приношу вам мою благодарность за присланный мне через Наталью Ивановну перстень с портретом прадедушки Афанасия Абрамовича. Я принял его с должной признательностью. Чувствуя по недостоинству моему, что не заслуживаю я от вас такого внимания и памяти вашей обо мне, позвольте мне подарить его Митиньке, который, надеюсь, с возрастом своим будет достойнее иметь такой памятник и лучше меня заслужит звание достойного потомка фамилии Гончаровых. Ожидая вашего на то позволения или позволения отдать его под сохранение Наталье Ивановне, пребыть честь имею
Покорный ваш сын, Уничтоженная тварь
Николай Г…ров».
Можно представить, каковы были душевные терзания Николая Афанасьевича, видевшего, что труды его по восстановлению хозяйства разбиваются в пух и прах в угоду мимолетному капризу отца, но ничего нельзя было изменить. Огромная ответственность лежала на нем за судьбу своих собственных детей, которых к тому времени было уже шестеро: первенец и наследник майората Дмитрий, Екатерина, Иван, Александра, Наталья и новорожденный Сергей. Несмотря на то, что первые годы после отстранения сына от дел Афанасий Николаевич выдавал его семье достаточное содержание — 40 тысяч рублей ежегодно, Николай Афанасьевич теперь не мог обмануться, предчувствуя угрозу полного разорения. И его предчувствия оправдались. После скоропостижной смерти Афанасия Николаевича в 1832 году оказалось, что он оставил в «наследство» своим потомкам полтора миллиона долга!
Обстоятельства жизни Николая Афанасьевича складывались так, что, беспощадно терзая напряженный ум и наболевшую душу, подготавливали взрыв рокового неизлечимого недуга, который, в свою очередь, не мог не отразиться на самочувствии всех членов его собственной семьи. Начало болезни Николая Афанасьевича относят к концу 1814 года. Сведения о недуге весьма противоречивы. Гончарова считали «повредившимся в уме» — то ли из-за падения с лошади, то ли из-за дурной наследственности со стороны матери. Но слишком много испытаний выпало на его долю. В юности мать не дала ему сделать военной карьеры, о которой он грезил, теперь, в его зрелые годы, по воле отца оборвалась так прекрасно начавшаяся карьера преуспевающего промышленника. Надо полагать, что Николай Афанасьевич мог бы достичь больших успехов на любом поприще, но разрыв с отцом послужил причиной к тому, что он запил. Жизнь надломилась.
Наталья Николаевна Гончарова родилась 27 августа 1812 года — на следующий день после Бородинского сражения. Семейство ее, спасаясь от французов, уже оставило Полотняный Завод и переселилось к близким родственникам Натальи Ивановны в богатое родовое поместье Загряжских Карианы, в «одно из лучших дворянских гнезд на Тамбовщине». Здесь и родился «младенец женского пола», окрещенный в местной Знаменской церкви с именем Наталья.