У Афанасия Николаевича был единственный сын Николай. Еще совсем юношей он встретил в аристократических гостиных Наталью Ивановну Загряжскую, прославленную своей редкой красотой, и влюбился в нее со всей страстью первой любви. Брак их, суливший столько счастья, скоро был заключен, к радости обеих семей. Но об этом «счастье» речь впереди.
Загряжские очень гордились как знатностью своего происхождения, так и влиянием при дворе. Дед Натальи Ивановны, Александр Артемьевич Загряжский, был женат на внучке последнего независимого гетмана Малороссии. При присоединении этого края к России царь Алексей Михайлович дал на прокормление знаменитому вождю запорожцев обширную волость под Москвой — село Ярополец Волоколамского уезда.
Дядя Натальи Ивановны, утонченный вельможа екатерининских времен, красавец, был женат на Наталье Кирилловне Разумовской, дочери гетмана. В начале XIX века она известна всему великосветскому Петербургу оригинальностью своего ума и непреклонностью воли. Наталья Кирилловна оказалась настоящим кладезем ценных исторических воспоминаний, из которого не уставал черпать Пушкин, породнившись с нею через Наталью Николаевну.
Отец Натальи Ивановны Иван Загряжский, молодой блестящий офицер, служил в гвардии. Он не уставал поражать общество своими необузданными выходками, которые до поры до времени сходили Загряжскому с рук. Во избежание еще больших зол его женили на баронессе Строгановой. Надеялись, что ее крупное состояние поправит расшатанные дела Ивана Загряжского, а влияние умной и добродетельной жены остепенит повесу. Ничуть не бывало. Свалившееся на Ивана приданое еще больше развязало ему руки: картежная игра превратилась в настоящую страсть. После нескольких лет совместной жизни Иван Загряжский отвез жену с детьми в принадлежавший ему Ярополец, поселил их в только что отстроенном под наблюдением Растрелли прекрасном дворце, а сам вернулся к веселой холостой жизни, лишь изредка и ненадолго навещая семью.
Тем временем полку Загряжского выпала продолжительная стоянка в Дерпте (нынешний Тарту). Лифляндские бароны радушно встречали русских офицеров: балы и обеды не прекращались в окрестных замках. На одном из пиров у самого гордого, богатого и влиятельного барона Липгардта Загряжский увидел его прекрасную дочь, слывшую самой завидной невестой того края. Красавица Ульрика к тому времени была уже разведена со своим мужем бароном Морисом фон Поссе, имела от него малолетнюю дочь. Легкой интрижки возникнуть не могло: Ульрика была воспитана в строгих нравах, в другой вере, в недоступном кругу. Тем не менее Загряжский начал настоящее наступление на баронессу по всем правилам амурной науки. Опытный ловелас влюбил в себя молодую женщину и беззастенчиво обратился к отцу ее с официальным предложением. Ни один из его легкомысленных товарищей не проговорился о том, что Загряжский уже был женат.