Заметим, что в «Записках» нашло отражение резко враждебное отношение их автора к Толстому. И это неудивительно, ибо А. А. Матвеев считал его одним из виновников гибели своего отца. Тем не менее Андрей Артамонович отозвался о братьях Толстых как о людях «в уме зело острых и великого пронырства». Они имели прозвище шарпенков.
О 12 последующих годах жизни Толстого (1682–1694) ничего не известно кроме того, что он возобновил службу при дворе. За услугу, оказанную Софье во время бунта, Петр Андреевич был пожалован в комнатные стольники к царю Ивану Алексеевичу.
Можно сказать с уверенностью, что Софьей он не был обласкан, как, впрочем, не был окружен заботой и Петром. Имя Толстого упомянуто известными нам источниками лишь в 1694 году, когда он в глухомани, в Устюге Великом, служил воеводой. Во время путешествия Петра в Архангельск прибытие его в Устюг Великий было ознаменовано пушечным и ружейным салютом с крепостного вала. Воевода предложил гостям ужин.
Надо полагать, что личная встреча царя с Толстым положила начало сближению между ними. Взгляните на гравюру Шхонебека, запечатлевшую конную группу участников взятия Азова: в центре ее с саблей в руке – Петр, за ним (справа налево) – П. А. Толстой, М. Б. Шереметев, Лефорт (спиной), А. М. и Ф. А. Головины, Гордон-младший и П. Гордон (в профиль), справа от Петра – А. С. Шеин. К этому времени Толстой вернулся на военную службу и получил чин сначала прапорщика, а затем капитана гвардейского Семеновского полка.
Надо отдать должное умению Петра Андреевича приспосабливаться к изменяющейся обстановке. Другой на его месте, потерпев неудачу в борьбе за трон на стороне Софьи, замкнулся бы в себе или озлобился в ожидании либо падения, либо смерти Петра и участвовал бы в заговорах против него, как то делал думный дворянин полковник стрелецкого Стремянного полка И. Е. Циклер. Толстой так не поступил.
Он проявил выдержку, терпение и понимание того, что единственный путь поправить свои дела лежал через завоевание доверия царя. Этой целью и руководствовался Петр Андреевич, когда в 1697 году в возрасте 52 лет, будучи дедушкой, испросил у царя разрешения отправиться волонтером в Италию.
Толстой знал, что делал: ничто не могло вызвать такого расположения царя, как желание изучать военно-морскую науку.
Хотя Толстой и значился в общем списке с 37 отпрысками знатнейших фамилий, но при чтении его «Путевого дневника» создается впечатление, что он ехал в Италию в полном одиночестве и, находясь в этой стране, не общался с прочими волонтерами. Между тем документы итальянских архивов свидетельствуют, что Толстой жил в Италии, овладевал там военно-морским делом и путешествовал по стране вместе с другими учениками.