В 1808 году Николай Афанасьевич получил чин коллежского асессора, перевелся в Москву и поступил на должность секретаря московского губернатора. Медовый месяц и первые годы протекли для четы Гончаровых в упоении любви и радостях начинающейся супружеской жизни. Но постепенно тучи стали появляться на этом безоблачном небосклоне… Отец Афанасий Николаевич «хозяйничал» в Полотняном Заводе. Он всячески отдалял своего сына от дел, скрывая свои безумные любовные траты. Молодой человек свято верил в неприкосновенность гончаровских миллионов до той минуты, когда старик, потеряв спокойствие ввиду приближения грозной катастрофы, не открыл ему неутешительную правду. По своему обычаю, не задумываясь о последствиях, Афанасий Николаевич свалил тяжелую ношу запутанных дел и подорванного кредита на неопытные плечи наследника и укатил на несколько лет за границу.
Николай Афанасьевич без сожаления отказался от праздной московской жизни, переселился с семьей в Полотняный Завод и с неутомимой энергией принялся наводить порядок. Беззастенчивое растаскивание барского добра прекратилось, под зорким хозяйским оком снова заработали фабрики. За пять лет упорного труда Николаю Афанасьевичу удалось заделать прорехи. Сын высылал отцу крупные суммы, стараясь удерживать его тем самым за границей. В 1811 году Николай Афанасьевич был награжден орденом Владимира IV степени «за приведение к должному устройству и усовершенствованию состояния в Калужской губернии фабрики полотняной и писчей бумаги».
Но тут наступил 1812 год: наполеоновская война нарушила мир в Европе. Французы близко подошли к гончаровским владениям. В Полотняном Заводе некоторое время стоял со своим штабом фельдмаршал Кутузов. Комнаты, в которых он жил, сделались исторической реликвией и стали называться кутузовскими. Можно себе представить, сколько пищи для детской фантазии маленьких Гончаровых дал этот факт столь близкого соприкосновения с судьбами отечества. Увы! Хранимый от французов, дом этот подвергся опустошительному нашествию собственного «иностранца». Афанасий Николаевич в самом начале войны сумел пробраться через границу и вернуться в Завод. Он привез с собой очередную любовницу — мадам Бабетт и стал требовать, чтобы ей оказывали знаки внимания, положенные хозяйке дома. Этим событием чрезвычайно осложнились семейные отношения.
Ко всему прочему, старику показалось, что сын кичится перед ним своей деловитостью и умственным превосходством, и вместо признательности за поправку дел он затаил на него злобу. Нашлось немало приближенных к хозяину людей, которым хотелось бы вернуться к прежней безалаберной жизни. Они разжигали страсти, наушничая и раздувая недоброжелательство отца к сыну. Очень скоро от критики Николая Афанасьевича перешли к игнорированию его распоряжений. Какое-то время сын еще пытался удержать отца от бесхозяйственности и расточительства, но на открытый скандал не шел, преклоняясь перед волей и властью Афанасия Николаевича. До нас дошло письмо сына к отцу, написанное уже после того, как в 1815 году Афанасий Николаевич полностью отстранил Николая Афанасьевича от дел. Отец, видимо, почувствовал некоторое угрызение совести и послал сыну в подарок дорогой перстень. Вот ответ сына: