В начале 1740 года закаленный в боях и возмужавший Я. П. Шаховской вернулся в Петербург, где неожиданно для себя был назначен советником в Главную полицию. Спустя некоторое время занял пост генерал-полицмейстера и получил чин действительного статского советника. Служба в полиции оказалась беспокойной и трудной. По выражению Шаховского, «редкий день без атак и штурмов приходился». Во время недолгого правления Анны Леопольдовны Я. П. Шаховской стал Сенатором, но в 1741 году, при восшествии на престол Елизаветы Петровны, был лишен этого звания. Вскоре Яков Петрович был назначен обер-прокурором Святейшего Синода.
В своих «Записках» Я. П. Шаховской отмечал: «Я еще с начала вступления в свет поставил в сердце моем предметом, чтоб во всех случаях, делах и поведении моих чистосердечно поступать, злоковарных же лестей и обманов употреблять гнушаться, а справедливость всему предпочитать». Постоянным стремлением к справедливости он нажил себе немало врагов среди членов Синода. Некоторые из них, по его словам, чуть ли не на коленях упрашивали Елизавету Петровну, чтобы она удалила слишком требовательного прокурора. В этой должности он прослужил более одиннадцати лет, имел чин тайного советника, получил орден Св. Александра Невского, Св. Анны и другие. 29 мая 1753 года Шаховской был назначен генерал-кригскомиссаром, то есть главным начальником по снабжению армии и флота. На этом поприще он весьма строго следил за соблюдением государственных интересов и, по собственному выражению, ему приходилось «многие патриотические дела производить». Нередко в неимоверно тяжелых условиях, по бездорожью и в распутицу он доставлял припасы в армию «без повреждения» и в «целосохранности».
15 августа 1760 года Яков Петрович становится генерал-прокурором Сената и одновременно конференц-министром. Узнав о назначении на новую должность, он воскликнул: «В оном чину наиглавнейших злодеев иметь буду». И он не ошибся. За непродолжительную (менее полутора лет) службу на этом посту честный, бескорыстный и неподкупный прокурор, пользовавшийся репутацией «строгого законника» и пристально следивший за тем, чтобы в государственных учреждениях все «чинилось порядочно и по указам», имел немало острых стычек с приближенными к императрице сановниками.
Программой действий для генерал-прокурора стал указ Елизаветы Петровны от 16 августа 1760 года, в котором она поручала Сенату содействовать ей в восстановлении в государстве «надлежащего порядка, правосудия, благосостояния и обильного добра». Более близкое знакомство генерал-прокурора Я. П. Шаховского с судебными местами убедило его в том, что они погрязли в злоупотреблениях. Он писал: «Несытая алчба корысти дошла до того, что некоторые места, учрежденные для правосудия, сделались торжищем лихоимства, пристрастие — предводительством судей, а потворство и упущение — ободрением беззакония».