После победоносного окончания Отечественной войны семья вернулась в Полотняный Завод. Однако болезнь Николая Афанасьевича вынудила семейство переехать в Москву, в собственный дом на Никитской. Родители не взяли с собой маленькую Наташу, потому что старик Гончаров сильно привязался к внучке и настоятельно требовал оставить девочку на его попечение. Наталья Ивановна скрепя сердце согласилась на это, чтобы хоть как-то приспособиться к создавшейся ситуации. Молодая тридцатилетняя женщина вынуждена была принять на себя заботы о больном муже и малолетних детях.
Дед души не чаял в маленькой внучке. Наташа росла подобно сказочной принцессе в волшебном царстве. Зная отношение деда к ребенку, все прихлебатели и приживальщики Полотняного Завода старались угадать ее малейшее желание. Самые дорогие и затейливые игрушки выписывались на смену тем, что не успели еще надоесть, от нарядов ломились сундуки, на каждом шагу предлагались разнообразные и изысканные лакомства, так что совершенно пропадал аппетит. Любимым развлечением в имении стало придумывать новые забавы для общей любимицы.
В одно мгновение все переменилось. На шестом году Наташу вернули в родное гнездо. Событие, связанное с переменой участи, навсегда врезалось в ее память… Стояла зима. Девочку, укутанную в дорогую соболью шубку, на руках вынесли из возка и доставили прямо в гостиную. Братья и сестры с любопытством разглядывали ее. Мать сдержанно поцеловала девочку и, с неудовольствием оглядывая дорогой наряд, сказала: «Это преступление — приучать ребенка к такой неслыханной роскоши!» Нянюшкам было строго приказано: ребенка от всего привитого в дедовом доме без сожаления отучить. Не прошло и двух дней, как дорогая шуба, предмет общего восхищения детей, была изрезана на муфточки и палантинки для трех сестер.
Между тем дедушкино обожание ничуть не отразилось на тихом и кротком характере ребенка. Внезапная перемена отношения к ней со стороны взрослых не озлобила девочку. Она безропотно подчинилась суровому режиму, заведенному в своем новом доме, и выносила его гораздо легче своих сестер. Обстоятельства последующей жизни ее в родительском доме как будто специально сложились так, чтобы предоставлять — сначала девочке, а потом девушке — постоянные испытания для приобретения терпения, смирения, покорности старшим, любви к ближним. Именно этими качествами несомненно должна была обладать будущая жена гения, но об этом речь впереди…
Дедушка Афанасий Николаевич, видимо, сознавая свою вину перед сыном, старался поддерживать добрые отношения с внуками. Он посылал им небольшие подарки, приглашал иногда к себе. Старшему внуку, Дмитрию, наследнику майората, он особенно благоволил: часто писал к нему и, бывало, присылал значительные суммы «для профессоров и наук». В письмах Афанасий Николаевич «деньги» всегда пишет с большой буквы — в знак преклонения перед главным своим кумиром.