Граф Андрей Федорович был счастлив поистине, и это помогло ему легче перенести многочисленные финансовые неурядицы, которые на него вдруг обрушились.
Увы, он не унаследовал от отца хозяйской сметки и расчетливости. Его решения трудно было назвать обдуманными, он жил и действовал так, словно владел неразменным рублем… вернее, неразменным миллионом рублей. Впрочем, его нерасчетливость объяснима любящим и щедрым сердцем. К примеру, чтобы помочь запутавшейся в финансовых проблемах сестре Софье, которая жила во Франции и была известна там как детская писательница Софи де Сегюр, граф Андрей Федорович попросту вынул бриллианты из отцовских табакерок, из коих одна, пожалованная покойному Федору Ростопчину австрийским императором во время суворовской кампании, стоила 75 тысяч рублей. Друзья похитили у Андрея оставшиеся драгоценности да еще обманули, пообещав продать на аукционе в Париже коллекцию картин – шедевры будто бы погибли во время бури на море, когда доставлялись на корабле во Францию. Позднее дети Андрея Ростопчина встречали эти картины в доме у французского посла. А ведь каждое полотно стоило не меньше ста тысяч рублей!
Спустя годы безудержного мотовства граф Андрей Федорович вдруг спохватился, что швыряет деньги без счету. Однако он не стал умерять своих трат, просто не в силах был, но они сделались более, скажем так, осмысленными. К примеру, Императорской публичной библиотеке он постоянно жертвовал деньги, редкие коллекции книг и гравюр. Вдруг увлекся историей, причем обнаружилось, что этот светский бездельник умудрился в свое время получить хорошее образование и ничего из прежних знаний не растерял и что вообще у него светлая голова. Андрей Ростопчин стал автором нескольких книг на исторические темы (в том числе и работ о деятельности отца), словаря художников, задумывал написать словарь о России. Те картины, что оставались в его распоряжении, он щедро выставлял в своем доме для публики.
Как помещик, он, может быть, и был лишен деловой хватки (если это означает все соки из крепостных выжимать), но, судя по воспоминаниям знавших его людей, «обращался с крепостными милостиво, выстроил им больницу, дарил лес на постройки и дрова на топливо, павших лошадей и коров заменял своими».
После счастливейшего в жизни события – рождения сына Виктора – граф Ростопчин снова начал искать себе место в высшем свете. Первым делом нужно было вернуть давно и, казалось, безвозвратно утраченное расположение императора. Андрей Федорович вручил графу Бенкендорфу документ из отцовского архива для передачи императору Николаю. Это был рескрипт о заточении императрицы Марии Федоровны в Соловецкий монастырь и о признании незаконными ее сыновей Михаила и Николая. Рескрипт тот в горячую минуту подписал император Павел, который, когда чудесил, любил признавать собственных детей незаконнорожденными. Именно граф Федор Ростопчин в свое время обнаружил сей документ и скрыл его от всех. Андрей рискнул напомнить об этой истории сыну Марии Федоровны – императору Николаю… Уже на следующий день Бенкендорф передал молодому Ростопчину, что государь благодарит его.