Был с ним случай во время шведской кампании, когда бригадиру Толстому поручили еще и начальство над всеми военными госпиталями и надзор над постройкой военных крепостей. Однажды загорелся Выборгский замок, в котором помещалась казна комиссариата. Петр Андреевич прискакал на пожар, бросился в пламя не задумываясь и спас все документы и громадные суммы денег. На другой день он доложил об этом главнокомандующему. Тот посмотрел на Толстого с удивлением.
- Дурак ты, граф Петр Андреевич, чистый дурак!..
- За что ты ругаешься? - спросил Толстой. - Ведь тут все цело...
- Знаю, знаю, батюшка, что у тебя все цело... Да ведь оттого-то, что все цело, ты и дурак! Огня-то, братец ты мой, мы считать бы не стали, что-нибудь, наконец, да могло бы сгореть. Ну что бы тебе стоило отложить миллиончик... Жаль мне тебя, братец, жаль! Будешь ты беден всю жизнь.
В первые же дни воцарения Павла I бессребреника отстранили от службы и даже посадили на гауптвахту. Будучи еще наследником, Павел нуждался в деньгах и как-то послал занять их в кассе комиссариата. Имея строгий запрет Екатерины II не давать наследнику денег, Петр Андреевич посланцу отказал. Павел тогда прислал нового нарочного с приказанием:
- Поезжай и скажи, чтоб он это помнил!
Вскоре его из-под караула выпустили, но уволили с половинным жалованием. Пришлось жить еще скромнее. Петр Андреевич с женой посвятил себя целиком воспитанию своих младших, читал им исторические рассказы, учил мастерить всякие мудреные вещички. Особенно отличался в поделках Федя Толстой, впоследствии знаменитый скульптор. «У меня было так много занятий, - вспоминал он, - что недоставало времени на исполнение того, что я затевал. Мы всегда были заняты полезным, любимым нами делом и были совершенно счастливы».
...Глухо доносился голос священника:
- Венчается раб божий Константин рабе божией Анне...
- Венчается раба божия Анна рабу божию Константину...
Федор Петрович Толстой наблюдал за обрядом венчания с живейшим интересом. Он уже познакомился с Анной Перовской. Она была умна, остра на язык, и его удивляло, как она могла остановить свое внимание на его брате Константине.
Федору Петровичу припомнился кадетский корпус, куда их с братом определили с малолетства, сад, где они гуляли вместе, каменная стена вокруг сада, расписанная фресками - изображениями исторических событий, географических карт, планет и прочего. Дети играли, запоминая наглядную премудрость.
Кроме Константина и Федора, в корпусе учились еще пять их двоюродных братьев, все они жили в дортуаре, который называли «комнатами графов Толстых». Верховодил у них Толстой, тоже Федор, но только Иванович, прозванный потом Американцем. Он и тогда уже слыл сорвиголовой, был жестоким драчуном и проявлял склонность к интригам.