Петр Борисович, хотя с рождения был произведен в офицерское звание и затем быстро приобретал новые чины, в отличие от отца не сыскал известности на поле брани. Он подвизался на службе при дворе: был генерал-аншефом и генерал-адъютантом при Елизавете; остался «на плаву» при капризном и неуравновешенном Петре III, исполняя обязанности обер-камергера; не затерялся и при Екатерине II, пожаловавшей его сенатором. Правда, в этой должности Шереметев оставался недолго. Служба, видимо, тяготила утонченного богача, и он, воспользовавшись Манифестом о вольности дворянства 1762 года, в возрасте 55 лет ушел в отставку.
Оставшиеся 20 лет жизни, когда Петр Борисович нигде не служил, были посвящены благоустройству подмосковной усадьбы Кусково. Этот шедевр дворцово-паркового искусства России второй половины XVIII века приобрел огромную популярность еще и благодаря оперному и балетному театру, сплошь укомплектованному актерами из крепостных собственных вотчин. Крепостные выступали либреттистами, художниками-декораторами, музыкантами и режиссерами. Петр Борисович покровительствовал талантливым крепостным в области живописи, скульптуры, архитектуры, посылал их для обучения за границу. Все это позволило графу оставить заметный след в истории русской культуры.
К родившейся вслед за Петром дочери Наталье Борисовне судьба оказалась менее благосклонной и даже суровой, но она тоже стала примечательной личностью XVIII столетия: ей довелось испить до дна чашу суровых испытаний. В шестнадцатилетнем возрасте, оставшись без отца и матери, она вышла замуж за Ивана Долгорукова, фаворита Петра II.
Петр II умер накануне церемонии бракосочетания с сестрой фаворита Екатериной Долгоруковой. Иван, умевший ловко подделывать руку умершего царя, сочинил фальшивое завещание в пользу его невесты и своей сестры. Подделка была тут же обнаружена.
Между тем на троне утвердилась курляндская герцогиня Анна Иоанновна, и в судьбе Долгоруковых наступили крутые перемены. За попытку ограничить самодержавие Анны Иоанновны они вместе с Голицыным поплатились ссылкой. К тому времени Наталья Борисовна была лишь обручена и могла отказаться от замужества, но этого не сделала. Прошло всего три дня после церемонии, как она вместе с супругом и остальными членами семьи Долгоруковых отправилась в ссылку сначала в их вотчины, а затем в Березов. Вспоминая изнурительный путь туда, Наталья Борисовна писала: «Вот любовь до чего довела: все оставила, и честь, и богатство, и сродников, и стражду с ним (Иваном Долгоруковым. – Н. П.)