Как бы то ни было, всякий потомок Петра Андреевича помнил предание, что царевич в муке пытки осевшим от страданий голосом проклял Толстого и весь род его до двадцать пятого колена. Еще при жизни действительного тайного советника Толстого писали, что кара падет на его род, что «смерть царевичева... отомстится». И именно это считали потом причиной того, что в каждом поколении Толстых наряду с людьми выдающимися рождались безумные и слабоумные...
Канцелярия тайных розыскных дел, учрежденная сперва в связи с делом царевича Алексея, не прекратила своего существования и оставалась в ведении коллегии, состоявшей из Толстого, Бутурлина и Ушакова. Наследники князя-кесаря Ромодановского, которого сам Петр I, бывало, останавливал словами: «Зверь, долго ли тебе кровь пить», не изменяли заведенному обычаю, лили кровь в застенках, давали встряску на дыбе, жгли огнем и раскаленными клещами... Тогда это было в порядке вещей.
Одновременно Толстой заведовал коммерц-коллегией, основывал мануфактурные компании, вел дипломатические переговоры в европейских столицах, и во время коронации Екатерины Петр I в собственноручной записке велел «объявить тайному действительному советнику Толстому надание графства и наследникам его». С тех пор и пошли графы Толстые, и без иных из них невозможно представить себе отечественную литературу. И без поэта и драматурга Алексея Константиновича Толстого в том числе.
Впрочем, и сам их предок граф Петр Андреевич не чужд был литературного труда и, кроме дневников и описаний стран, в которых пребывал, корпел над переводом с итальянского «Метаморфоз» Овидия. Слог у него был тяжелый, но некоторые строки впечатляют и по сей день:
«Тамо живяще лютый змий марсов, никому не знаем; упещрен был весь златыми пестринами, и очи горели огнем великим, а тело наполнено ядом вредительным, и из челюстей показывались три языка, а в челюстях тремя рядами стояли смрадные зубы...»
Кончил Петр Андреевич Толстой плохо. После смерти Петра I он смелой речью повлиял на вельмож, решивших возвести на престол Екатерину I. Он был ее правой рукой и одним из шести членов верховного тайного совета. Светлейший князь Меншиков и другие верховники ввиду крайнего расстройства управления и народного неудовольствия торопились с отменой некоторых преобразований Петра I, в новых губернских учреждениях они видели излишнее «умножение правителей и канцелярий», служащих «к великому отягощению штата и к великой тягости народной». Толстой тормозил ломку петровской реформы и стал врагом Меншикова. Но в общем это была борьба за власть, и Меншиков одолел в ней всех. Императрица уже не считалась с Толстым, а когда решался вопрос о браке великого князя Петра Алексеевича с дочерью Меншикова, Петр Андреевич решительно воспротивился этому и заговорил о «страшных последствиях».