Меншиков и другие «верховники» (члены Верховного тайного совета) своего добились. Ягужинского сначала сделали штальмейстером – главным начальником царских конюшен, а потом вообще отправили с глаз долой – послом в Пруссию. Но перед отъездом Ягужинский все-таки сказал Меншикову все, что о нем думал. Больше им судьба не предоставила возможности поругаться. Когда Ягужинский вернулся в Петербург, сосланный Меншиков уже устраивался на новом месте, в Сибири. Но к этому времени карьера и самого Ягужинского была сломана – «око государево» в России уже не требовалось.
Ягужинский был мужчина красивый и очень нравился женщинам. С нескрываемой симпатией пишет о нем леди Рондо, жена английского посланника при дворе Анны Иоанновны: «Его наружность прекрасна, черты лица неправильны, но очень величественны, живы и выразительны. Он высок и хорошо сложен. Манеры его небрежны и непринужденны, что в другом человеке воспринималось бы как недостаток воспитания, а в нем столь естественно, что всякому видно: он исполнен достоинства, привлекающего к себе взоры даже в очень большом собрании, словно является в нем центральной фигурой».
Выходец из низов, он женился на богатой невесте, Анне Дурново, родившей ему четверых сыновей. Но в начале 1720-х годов у нее началось расстройство психики. Ее дальнейшее буйное помешательство на эротической почве сделало жизнь Ягужинского невыносимой. Он безуспешно добивался развода, основанием для которого в то время могла стать только супружеская неверность. Высшие церковные иерархи терпеть не могли этого громогласного разоблачителя грехов и долго не разводили супругов. Лишь летом 1723 года Синод издал указ о разводе четы Ягужинских. Анна была заточена в монастырь, а Павел Иванович смог вновь жениться в октябре 1724 года.
Новый брак – и по расчету, и по любви – оказался удачным. Ягужинский взял в жены хотя и рябую (последствие оспы), но грациозную, образованную и – под стать себе – веселую и обаятельную Анну Гавриловну, дочь канцлера Головкина, да заодно получил за ней богатое приданое. В отличие от первой Анны вторая рожала мужу исключительно дочерей.
В последние годы жизни штоф с водкой стал главным утешителем и товарищем бывшего генерал-прокурора, а характер его испортился окончательно. Он стал вздорен и неуживчив, часто скандалил при императорском дворе, ввязывался во все конфликты. В 1730 году, когда члены Верховного тайного совета попытались ограничить императорскую власть, Ягужинский даже пострадал, тайно предупредив новую государыню Анну Иоанновну о намерениях верховников сделать ее императрицей, не имеющей фактической власти. Верховники посадили правдолюбца в тюрьму. Это краткое заточение обеспечило ему кредит доверия у Анны Иоанновны, но ненадолго. Ягужинский поссорился с новыми сподвижниками императрицы, в том числе с ее фаворитом Бироном, с которым был то не разлей вода, то на ножах, страстно обличая установленные им при дворе порядки. И когда весной 1736 года Ягужинский умер, многие вздохнули с облегчением – отныне уже никто публично не мог обозвать их ворами и ничтожествами.