Елизавета Алексеевна являла собой типичную помещицу старого закала: важная, умная, прямой решительный характер и привычка повелевать. Через три месяца после смерти дочери она поехала в Киев к святым угодникам, где надеялась смягчить свое горе молитвами в Киево-Печерской лавре. Оставить внука на няню не решилась, и целым обозом двинулись в путь. В Киеве были недолго, в начале июня вернулись в Тарханы. А в это время Столыпины дружной семьей двинулись на Кавказ, где проживала одна из сестер Елизаветы Алексеевны. По дороге скончался Алексей Емельянович. Новое горе –– потеря отца обрушилось на Елизавету Алексеевну!
Оставаться в Тарханах ей стало невмоготу. Приказала управляющему продать на вывоз дом, в котором умерли муж и Машенька, поставить на его месте церковь, а новый дом строить поблизости. Уехала в Пензу, остановившись у сестры Натальи. Затем подыскала себе квартиру.
О Пензе того времени Сперанский писал: «Прелестная Пенза держит меня в очаровании. В Петербурге служат, а здесь –– живут». Общество в Пензе было разнообразным: наряду с пустотой и праздностью жили и работали люди высокообразованные. Незаурядным человеком был Афанасий Гаврилович Раевский, с тещей которого Арсеньева вместе воспитывалась, а в 1808 году крестила ее внука Святослава. «...Эта связь сохранилась и впоследствии между домами нашими», — писал в 1837 году Святослав Раевский, которому суждено было стать ближайшим другом Михаила Лермонтова и оказать сильное влияние на его литературные интересы. В Пензе он часто бывал у Арсеньевой, мог наблюдать за маленьким Мишей. Его удивляло, что мальчик трех лет говорит в рифму и пытается мелом рисовать на полу.
В Пензе Арсеньева пробыла около восьми месяцев. Затем вернулась в Тарханы. Здоровье внука было все еще очень неровным. Заботливость бабушки доходила до невероятия: каждое слово Миши, каждое его желание было законом не только для окружающих или знакомых, но и для нее самой. Летом поехала на Кавказ –– и не напрасно, после Кавказа мальчик стал чувствовать себя лучше. Осенью, по дороге в Тарханы, еще раз побывала в Киеве. Мише исполнилось четыре года.
В Тарханах тем временем достроили домовую церковь на месте, где скончались Михаил Васильевич и Мария Михайловна. Освящали ее уже по приезду Арсеньевой.
Церковнослужителям она благоволила (Миша впоследствии крестил ребятишек у дьякона). Благоволение простиралось даже на семью расстриженного за пьянство и сосланного в монастырь священника Федора Макарьева.