Николай Афанасьевич не был похож на отца. Страстный и талантливый музыкант, чувствительный и нервный, он в то же время был очень хозяйственным и распорядительным. В восемнадцать лет он женился на фрейлине Наталье Ивановне Загряжской, старше его на два года. Она была полузаконной дочерью богатого помещика старинного рода и его любовницы-француженки. Начитанная, образованная, но довольно грубая в манерах, в молодости Наталья Ивановна была так красива, что у нее случился бурный роман с Алексеем Охотниковым, фаворитом императрицы Елизаветы Алексеевны – супруги Александра I. Весь двор счел себя оскорбленным изменой Охотникова, – между прочим, императрица родила от него дочь, которая, правда, вскоре умерла. К Охотникову подослали наемного убийцу, а Наталью Ивановну срочно выдали замуж.
Через год после свадьбы молодые переехали в Полотняный Завод: Афанасий Николаевич как раз уехал за границу и поручил сыну управление имениями. Здесь, кроме родившегося в Петербурге сына Дмитрия, появились на свет почти все остальные их дети: Екатерина, Иван, Александрина и Сергей. Наталия, предпоследний ребенок, родилась в тамбовском имении, куда Гончаровы переехали из-за войны 1812 года: в Полотняном Заводе некоторое время была ставка Кутузова. Роды случились на следующий день после Бородинского сражения, 27 августа 1812 года – как потом говорила Наталия Николаевна, исторический день лишает ее возможности забыть счет прожитых лет.
Дела по управлению имениями шли хорошо, и семья жила счастливо – до тех пор, пока в 1812 году не вернулся из-за границы Афанасий Николаевич. Он сам взялся за дела и, как уже говорилось ранее, продолжал последовательно разорять семью. Через два года Николай Афанасьевич упал с лошади, сильно расшибся и с тех пор стал постепенно сходить с ума – пока в 1823 году окончательно не впал в буйное помешательство. Его пришлось держать дома, взаперти. Все заботы о семье легли на Наталью Ивановну. Тяжелая обстановка в доме чрезвычайно испортила ее характер. Дочерей она держала в абсолютном повиновении, всячески их притесняла, а сама все больше опускалась: как писал Пушкин, «она целый день пьет и со всеми лакеями живет». Тем не менее ей успешно удавалось вести дела семьи – что удивительно, особенно учитывая крайне бедственное материальное положение, в котором пребывали Гончаровы. Все дети получили прекрасное воспитание и отличались хорошим характером: были искренни, милы, доброжелательны, хорошо разбирались в искусстве – особенно Александрина и Наталия, которая даже писала стихи. Наталия, или Таша, как ее называли родные, была настоящим кумиром семьи – самая красивая из детей. Семья возлагала на нее большие надежды: ее выгодный брак мог поправить расстроившиеся дела Гончаровых. Несомненная красота – правильные черты лица, тончайшая (43 сантиметра!) талия и прекрасная фигура – освещалась тем не поддающимся описанию качеством, которое современники называли «поэтичностью», «чистейшей прелестью» и «несомненным очарованием». Отличительными чертами ее характера были предельная правдивость и искренность, чуткое сердце и огромная доброта. Болезненно скромная, мягкая, умная, сдержанная, кроткая, она с детства привыкла находиться в чужой воле, была податлива на чужое влияние и не выносила бурных проявлений эмоций. В своей юношеской тетради она записала как один из главных своих принципов: «Никогда никому не отказывать в просьбе, если только не противна она твоему понятию о Долге. Старайся до последней крайности не верить злу или что кто-нибудь желает тебе зла. Не осуждай никогда никого ни голословно, ни мысленно, а старайся найти если не оправдание, то хотя бы хорошие стороны, вызывающие жалость».