Шаховской всегда стремился отстаивать законность и справедливость, хотя и давалось ему это с большим трудом. Он признавался, что чувствовал себя путешественником, который с «надлежащей большой дороги загнан в болото, наполненное тиною и трясиною, из коего не дорогами, но наудачу, то по колено, то глубже увязая, потеряв силы и отчаясь на твердый берег выйти, близко погибель свою ощущает».
Несмотря на невероятные козни, чинимые приближенными к императрице вельможами, вопреки их злобным проискам, он во всех делах оставался честным и неподкупным. Именно по этой причине императрица Елизавета Петровна ценила его, была милостиво расположена к своему генерал-прокурору, лично принимала доклады и часто вставала на его сторону.
25 декабря 1761 года новый император Петр III отправил Я. П. Шаховского в отставку и некоторое время он «оставался не у дел». Короткое царствование Петра III закончилось дворцовым переворотом, и на Российском престоле оказалась Екатерина II. Она вновь призвала Шаховского на службу, назначив его Сенатором. В день своей коронации императрица пожаловала ему орден Св. Андрея Первозванного.
Яков Петрович часто сопровождал молодую императрицу в ее поездках по России, причем нередко сидя с ней в одном экипаже. В пути он много говорил ей о деяниях Петра Великого и проведенных им преобразованиях. В одной из таких поездок он как-то вспомнил, что по замыслу Петра I один из Сенаторов должен каждый год объезжать губернии и ревизовать производящиеся там дела, вскрывать злоупотребления и лихоимство. Эта идея понравилась Екатерине II. Тогда Шаховской тут же вызвался лично провести такую проверку в городах, которые они проезжали. И он осуществил свое намерение в Ярославле, Ростове и Переславле-Залесском, чем привел в трепет местные власти.
1 апреля 1766 года действительный тайный советник и Сенатор Я. П. Шаховской по состоянию здоровья вышел в отставку. Он поселился в Москве, а летнее время проводил в своей подмосковной деревне. Вставал по обыкновению в шесть часов утра и выходил в сад, за которым сам ухаживал. Изредка встречался со своими друзьями. Привыкший к напряженной работе, Яков Петрович и на отдыхе не мог сидеть без дела. Вскоре он принялся за написание воспоминаний о своей бурной, насыщенной яркими событиями жизни, которые озаглавил так: «Записки князя Я. П. Шаховского, полицмейстера при Бироне, обер-прокурора Св. Синода, генерал-прокурора и конференц-министра в царствование Елизаветы и Сенатора при Екатерине II». Они впервые были опубликованы в Москве в 1810 году.