Губернаторство Вульфа в Орле продолжалось недолго: после сенатских ревизий, проведённых А. И. Голохвастовым и князем К. А. Багратионом (сводная записка о результатах проверки датирована 4 ноября 1800 года), 22 ноября того же года последовала отставка Ивана Петровича. В высочайшем указе причина отставки не указана; вероятно, недовольство было вызвано большим количеством нерешённых дел в губернских присутственных местах.
Отзывы обывателей о коротком периоде правления Вуль–фа в Орле, тем не менее, весьма благожелательны. В. В. Измайлов в 1802 году в книге «Путешествие в полуденную Россию в письмах, изд. Владимиром Измайловым» привёл следующий эпизод: гуляя по Орлу, он спросил у встретившегося местного жителя о губернаторском доме и поинтересовался его мнением о губернаторе. Тот ответил: «Знаю, что он добрый человек. Бедный до него доходит, притеснённый также». Далее Измайлов прибавил: «Моралисты! Запишите сию черту в трактатах ваших с именем Вульфа в Истории людей»[2] .
После отставки И. П. Вульф до конца своих дней жил в основном в Бернове. Анна Петровна вспоминала: «…Господский дом в Бернове стоял на горе задом к саду, впереди него большой двор, окружённый каменной оградой. Далее площадь, охваченная с обеих сторон крестьянскими избами, и в середине её против дома каменная церковь». Иван Петрович очень любил птиц. «В обеденной зале (берновского дома. – В. С), смежной с его кабинетом, находилась во–льерка с канарейками. Там были гнёзда, и их было очень много». Усадебный дом Вульфов в Бернове сохранился, ныне в нём располагается музей А. С. Пушкина.
Бабушка Анны Петровны по матери – Анна Фёдоровна, урождённая Муравьёва (?—1810), в честь которой и названа наша героиня, была светской дамой. Её двоюродный брат Михаил Никитич Муравьёв состоял воспитателем великого князя Александра Павловича – будущего императора Александра I. Анна Фёдоровна со всеми, даже со своими детьми, держала себя всегда чрезвычайно высокомерно, и в то же время всегда входила во все мелочи домашнего хозяйства. «Важничанье бабушки, – писала Анна Петровна, – происходило оттого, что она бывала при дворе и представлялась Марии Фёдоровне во время Павла I с матерью моею, бывшею тогда ещё в девицах. Императрица Мария Фёдоровна, всегда приветливая и ласковая, познакомила мою мать с своими дочерьми Еленою и Александрою Павловнами, сравнивала их рост, и мать моя говорила, что она никогда не видала никого красивее их».
Дедушка по отцовской линии Марк Фёдорович Полторацкий (1729—1795) происходил из рода черниговских казаков, с молодых лет обладал прекрасным голосом, пел в церковном хоре и был вывезен А. Г. Разумовским в Санкт–Петербург (граф на заре юности сам пел в церкви, а в столице восхождение к вершинам власти начал с дворцовой украинской капеллы). Здесь он стал придворным певчим, выступал в итальянской оперной труппе, в 1754 году был произведён в полковники и назначен сначала регентом, а потом директором придворной певческой капеллы. В 1763 году Марк Фёдорович получил потомственное дворянство. Он был обласкан двумя императрицами – Елизаветой Петровной и Екатериной II – и награждён многочисленными имениями в Малороссии и Центральной России. Первый раз он был женат на дочери богатого петербургского купца Шемякина, которая очень рано умерла, а второй – на тверской помещице А. А. Шишковой.