Когда гвардия получила повеление возвратиться в Петербург, то корпус опять был разделен на колонны, из коих при первой находились наши офицеры для заготовления дислокаций. Траскин шел с колонной, идущей через Полоцк, Великие Луки, Порхов и Лугу в Петербург. Я просил, чтобы меня к сей колонне прикомандировали, дабы заехать в другой раз в деревню к дяде Мордвинову. Поэтому я ездил в село Никольское, где провел более двух недель у своего дяди. Он возобновил обещание свое принять участие в моем деле по возвращении в Петербург. Я встретил Траскина в Порхове и виделся там с Сипягиным в проезд его через сей город в столицу.
По прибытии нашем в Петербург я нашел брата Александра и Бурцова уже возвратившимися; они уже наняли квартиру для нас всех вместе на Грязной улице, в доме генеральши Христовской. Для порядка в обществе нашем были приняты правила с общего согласия; я был избран в казначеи и артельщики. Мы обедали большей частью дома, жили порядливо, умеренно и были довольны. Занимаясь поутру службой или образованием своим, мы проводили вечера вместе, в беседе. Начальником был у нас человек, любимый своими офицерами. Общество наше состояло из старшего моего брата, меня, Михайлы, который возвратился с Кавказских вод, Бурцова и двух Колошиных. Я первый оставил дружное братство наше, дабы удалиться в Грузию.
Дядя мой Н. М. Мордвинов был у адмирала и говорил с ним, после чего стал от меня уклоняться. Я вскоре увидел, что ожидаемый ответ будет заключаться в отказе, и просил дядю быть со мною искренним. Он, наконец, признался мне, что уже несколько дней тому назад говорил с адмиралом, который дал ему следующий ответ:
– Дочь моя чувствует дружбу и уважение к вашему племяннику, я спрашивал ее на сей счет; но как Николай Николаевич не хотел ждать, а хочет ответа решительного, то объявите ему, что мы ему отказываем в супружестве с Наташей и просим его, чтобы он удалился из Петербурга, потому что обстоятельство это разгласилось по городу и могло бы повредить нашей дочери.
Я был в отчаянии. Можно ли было ожидать такого ответа от людей, которых я привык уважать? На другой день я отправился в штаб, чтобы проситься у Сипягина в отставку, сам не зная для чего. Это было 10 января 1816 года. Сипягин и полковник наш Нейдгарт, не постигая причин, побудивших меня к такому решению, предлагали мне свои услуги, чтобы мне помочь. Когда они стали спрашивать, зачем я хотел оставить службу, я увидел, что и самому себе не мог дать порядочного отчета в своем намерении. Они обещали исполнить мою просьбу, если буду в том настаивать, но убеждали меня еще о том подумать и сказать им, нет ли другого средства удовлетворить меня с тем, чтобы я остался в службе, уверяя, что для достижения сего сделают все, что от них будет зависеть. Больно было для меня слышать приветствие товарищей, которые давно слышали от посторонних людей о моем намерении жениться, и полагая, что я уже устроил свои дела, от чистого сердца поздравляли меня с успехом, тогда как отказ приводил меня в отчаяние.