В общем, возвращали Петрова в Москву как бы из милости, а на самом деле для того, чтобы обезвредить.
Власть боялась не бедного старика, а неожиданностей. Молчащие или шепчущие пугали ее не меньше, а порою и больше, чем разгулявшиеся. Кто знает, какое неожиданное движение, порыв, даже бунт может вызвать какой-нибудь Афанасий Петрович, как однажды Емельян Иванович?.. К тому же знал бы мещанин Старцов, как неловко задел он рану царя Александра: даже пустой слух, будто Павла извели (но, может быть, «не до смерти»!), напоминал о страшной ночи с 11 на 12 марта 1801 года, когда Павла в самом деле извели и он, Александр, в сущности, дал согласие на это и, узнав, что отца уже нет, разрыдался, а ему сказали: «Идите царствовать!»
Слух, сообщенный Одоевским, будто к Александру возили из крепости какого-то старика, кажется, к нашей истории не относится. Но именно в последние свои годы царь был особенно мрачен, угнетен воспоминаниями, ждал наказания свыше за свою вину и однажды сказал, узнав о тайном обществе будущих декабристов: «Не мне их судить…» Даже туманный призрак Павла Петровича был неприятен. И старика вторично везут из Сибири…
Дальнейшие события в многосложной биографии Афанасия Петрова вырисовываются из того же архивного дела.
Московский Голицын 6 марта 1823 года затребовал из своей канцелярии материалы о Петрове, чтобы решить: куда же его девать? Однако многие дела сгорели в пожаре 1812 года; среди уцелевших ничего о Петрове не находят.
Но вот уже май наступил, и Петрова наконец доставляют в город, откуда его угнали ровно двадцать три года назад, еще задолго до великого пожара. Привозят его в тюремный замок, но смотрителю велят поместить старика «в занимаемой им, смотрителем, в том замке квартире как можно удобнее и не в виде арестанта» (все еще действует царское «не изнурять…»).
Седьмого мая московский обер-полицмейстер Шульгин рапортует о семейных обстоятельствах Петрова «господину генералу от кавалерии, Государственного совета члену, московскому военному генерал-губернатору, управляющему по гражданской части, главному начальнику комиссии для строений в Москве и разных орденов кавалеру князю Голицыну Первому…».
Оказывается, в деревне Исуповой имел Петров, кроме жены, Ксении Деяновой, также трех дочерей: «первая — Катерина Афанасьевна, которой было тогда одиннадцать лет от роду, вторая — Прасковья, находившаяся в замужестве за крестьянином вотчинным его же, князя Николая Алексеевича Голицына, в деревне Саврасовой Никоном Ивановым; и третья дочь Надежда Афанасьевна осталась в доме его сиятельства, бывшем тогда в Москве, на Лубянке».