А теперь мы вновь возвратимся к имени князя Сергея Васильевича Гагарина, в Сергиевское-Плавск, где он разводил сады и обустраивал имение, предоставив заниматься тем же самым в подмосковном Никольском-Гагарине своему сыну князю Сергею Сергеевичу (1745–1798). Этот Сергей Сергеевич, впоследствии сенатор и тайный советник, всегда с особенным почтением относился к своим родителям: к отцу, князю Сергею Васильевичу, и к матери, урожденной графине Прасковье Павловне Ягужинской (ум. 1775). Чтили в семье Гагариных и память деда — генерал-аншефа, первого российского генерал-прокурора и ближайшего сподвижника Петра Великого графа Павла Ивановича Ягужинского (1683–1736).
Вышеназванный князь Сергей Сергеевич Гагарин-первый был женат на княжне Варваре Николаевне Голицыной (1762–1802). Их сын князь Сергей Сергеевич Гагарин-второй (1795–1852) имел придворное звание обер-гофмейстера и состоял в должности директора московских императорских театров в период с 1829 по 1833 год. Это был хороший московский знакомый A.C. Пушкина. Неоднократно он посещал родовое подмосковное имение Никольское-Гагарино, хозяином которого был его брат Николай (1784–1842) и прямые его потомки.
О князе С.С. Гагарине-втором пишет историк М.И. Пыляев в своей книге «Старый Петербург»: «На место последнего (князя П.С. Гагарина) был назначен брат его князь Сергей Сергеевич Гагарин. Выбор был самый удачный, и дела театра пошли с той минуты блистательно… Князь Гагарин был человек в высшей степени добрый, благородный, приветливый, хотя имел наружность довольно гордую и суровую. Но под этой наружной оболочкой скрывалось самое доброе и великодушное сердце. Всем он делал добро, зла — никому и никогда. Беспристрастие его в делах службы было образцовое…»
Интересный факт из театральной биографии князя С.С. Гагарина приводит его секретарь Н.П. Мундт. В воспоминаниях он пишет, как осенью 1829 года на прием к князю пришел молодой Н.В. Гоголь, желавший определиться в актеры. Однако будущий автор «Ревизора» после испытания оказался «не способным не только к трагедии, но даже к комедии». Можно себе только представить конфуз князя и его подчиненных по театральной деятельности, когда вскоре этот самый молодой человек сделался автором «Ревизора» и «Мертвых душ» и ему аплодировал в театре сам император со всеми своими министрами.
Женат был князь Сергей Сергеевич-второй на графине Изабелле Адамовне Валевской, находившейся в свойстве с той самой Марией Валевской, которую Наполеон называл «моя польская супруга».
Завершают плавско-сергиевскую линию князей Гагариных шталмейстер князь Сергей Сергеевич Гагарин-третий (1832–1890) и его жена, урожденная графиня Вера Федоровна Пален (1835–1924). Это ее дед граф Людвиг Петер фон дер Пален был организатором убийства Павла I в памятный день 11 марта 1801 года. Ей судьба уготовила долгую жизнь. Революция застает ее в тульском селе Сергиевском (ныне город Плавск), где она добровольно отпишет все свое имущество новой власти. Остаток дней она провела в комнате для прислуги и похоронена там же, в Сергиевском.