Так и жил Петр Толстой, пока первый император не закрыл глаза навсегда. Тогда, в январе 1725 года, вместе с Меншиковым и Феофаном Прокоповичем Толстой возвел на престол вдову Петра Екатерину I. Но в ее краткое царствование не было покоя старику. Екатерина часто болела, и Толстой больше всего боялся, что после ее смерти императором станет сын убиенного им царевича Алексея великий князь Петр Алексеевич, десятилетний мальчик – надежда всех, кто был недоволен петровскими преобразованиями. А уж новый император Петр II разберется с палачом своего отца! И тут пути птенцов Петра роковым образом разошлись: Меншикову, который решил выдать свою дочь Марию за будущего юного императора Петра II, приход к власти сына царевича был как раз выгоден – он, на правах тестя и наставника, мог удерживать власть в своих руках. Толстой, вместе с зятем Меншикова Антоном Девьером, тоже недовольным грядущими переменами, пытался, как уже сказано выше, воспрепятствовать этому браку, хотел образумить императрицу Екатерину, попавшую под влияние Меншикова. Однако Меншиков хорошо знал Толстого и в нужный момент достал-таки из-за пазухи свой камень – и тут карьера непотопляемого семидесятилетнего Толстого закончилась. По обвинению в государственной измене он был арестован, следствие было предвзятое, поспешное, а суд, естественно, шемякин – тот самый, которым Толстой в своей Тайной канцелярии судил десятки людей, попавших к нему в лапы.
Приговоренный к смерти умирающей Екатериной, Толстой был помилован новым государем Петром II, получил, как тогда говорили, «вместо смерти живот» и был сослан на Соловки вместе с сыном Иваном, чья вина состояла только в родстве с отцом. С давних пор Соловки были местом страшным. Полтора года провел в тюрьме Толстой, а по описи после его смерти видно, что все меха, шубы и одежды заключенного истлели от сырости. Жизнь в каменном мешке Головленковой башни монастыря, где царили темнота, холод и голод, отличалась такой суровостью, что иным узникам каторга на материке казалась раем. Позже в своей челобитной один из заключенных Михаил Пархомов просил, чтобы «вместо сей ссылки в каторжную работу меня (б) отдали, с радостию моей души готов на каторгу, нежели в сем крайсветном, заморском, темном и студеном, прегорьком и прескорбном месте быти». К тому же, как часто бывало со знатными узниками, охрана стремилась унизить, досадить прежде столь гордому вельможе, отравляла жалкое существование его мелочными придирками. Толстые выдержали недолго. Уже в конце 1728 года скончался Иван Толстой, а в январе 1729 умер и сам Петр Андреевич. Он пережил почти на год своего заклятого врага и гонителя Меншикова, к этому времени угасавшего на другом пустынном конце империи – в Березове.