В 1810 году Николай Семенович уехал в Петербург с семейством; в 1811 году я определился в службу и опять увидел Наталью Николаевну. Я был очень робок, и каждое слово мое более и более обнаруживало мои думы. Старики заметили сие, заметила и она; но трудно было узнать ее тогдашнее расположение; однако же, мне казалось, что она была не совсем равнодушна.
Дед мой Николай Ерофеевич Муравьев был генерал-инспектор во времена Екатерины. Он был человек умный и ученый, женился на Анне Андреевне Волковой, коей сестра была за Александром Александровичем Саблуковым, умер в чужих краях, где в зрелом возрасте продолжал свое образование. Он был также военным губернатором в Риге и получил от тамошнего дворянства диплом на рыцарство меченосцев. Отец мой родился в Риге. По смерти Николая Ерофеевича бабка моя вышла замуж за князя Александра Васильевича Урусова, который давно ее любил; но оба они были вспыльчивого нрава и с первого же дня поссорились, после чего жили врознь, когда же встречались, то продолжали ссориться. Бабка моя скончалась, помнится мне, в 1806 году. Она была женщина умная, но строптивого нрава, находилась в тесной связи с вдовой фельдмаршала графа Захара Григорьевича Чернышова Анной Родионовной, известной своей бойкостью и причудливостью.
Отец мой был некогда записан в Измайловском полку и на 16-м году от рождения поехал учиться в Страсбургский университет, где отличался своими успехами. Пробыв четыре года в чужих краях, он возвратился в Россию и вступил в морскую службу, был в 1788 году адъютантом у принца Нассау, участвовал в нескольких морских сражениях со шведами, и когда порученная в командование его галера, избитая ядрами, пошла ко дну, он, по спасении своего экипажа, последний бросился в воду с несколькими матросами. Будучи ловким плавателем, он, при небольшой на ноге ране, полученной им от корабельного осколка, надеялся достичь одного из наших судов, но был вытащен из воды шведами, взят в плен и отвезен в Стокгольм, где оставался около года. По размене пленных его назначили капитаном фрегата. В то время он женился на матери моей, Александре Михайловне Мордвиновой, дочери генерал-инженера Михаила Ивановича Мордвинова. В царствование Павла Петровича отец мой был неожиданно переведен в Елисаветградский гусарский полк майором и находился с полком в походе в Молдавии, откуда скоро возвратился в Петербург и вышел в отставку подполковником.
Матушка скончалась в 1809 году апреля 21-го дня, на 39-м году от роду. Наружность ее соответствовала прелестным качествам души. Причиной кончины ее было то, что она хотела, вопреки совету врачей, сама кормить брата Сергея, дабы не обидеть его против старших пятерых детей своих, которых сама вскормила. Кончины ее были еще причиной заботы и труды, перенесенные, почти на исходе беременности, при постели старшего брата моего Александра, находившегося при смерти от постигшей его сильной горячки. Матушка похоронена в Москве в Девичьем монастыре; над могилой, по желанию ее, посадили любимое ею дерево акацию, которую окружили железной решеткой – памятник, отличающийся простотой среди окружающих его камней и мраморов.