Дмитрий Михайлович Голицын отошел от политики. Ему было уже за семьдесят, и он проводил большую часть своего времени в своем Архангельском в окружении книг — друзей, которые его не предавали. Бирон и его свора накинулись на князя в 1736 году.
В один из январских дней 1737 года в ворота Шлиссельбургской крепости ввезли князя Дмитрия Голицына, а из других ворот вывезли Василия Владимировича Долгорукого, чтобы поместить его в новой тюрьме, крепости Ивангородской.
Дмитрий Михайлович томился в каземате недолго. Годы, болезни и нравственные потрясения во время следствия и суда совершавшихся, как обычно, с унижением человеческого достоинства, сделали свое дело. В апреле 1737. года он скончался.
Печальна была участь не только князя, но и его богатейшей библиотеки. По словам В. Н. Татищева, этой библиотекой пользовавшегося, в ней было «многое число редких и древних книг, из которых по описке растащено; да и после я по описи многих не нашел и уведал, что лучшие бывший герцог Курляндский (Бирон. — В. Т.) и другие расхитили». Часть книг Елизавета Петровна подарила сыну Голицына, князю Алексею Дмитриевичу. Остатки этой библиотеки (200 томов) были куплены известным библиофилом графом Ф. А. Толстым после московского пожара 1812 года и перешли со временем в Императорскую публичную библиотеку (ныне библиотека имени М. Е. Салтыкова-Щедрина в Санкт-Петербурге). А еще в конце XIX века у Сухаревой башни и в книжных лавках на Никольской торговали книгами с надписью «Exlibris Golizin».
Пострадали и другие Голицыны. Михаил Михайлович (младший брат князя Дмитрия, моряк) был сослан в Тавровскую крепость «к строению судов», а потом — губернатором в Астрахань. Племянник Петр Михайлович лишен чинов и послан «управителем» в отдаленный Нарым, сын Алексей лишен чина действительного статского советника и «написан прапорщиком в Кизлярский гарнизон».
Еще трагичнее оказалась участь Долгоруких. Из Тобольска пришел приказ: заключить князя Ивана в темницу. Наталья Борисовна, тайно, по ночам, пользуясь сердобольностью караула, подходила к землянке, где находился. Иван, и приносила ему еду…
Прошло лето. В начале осени 1738 года в глухую дождливую ночь князь Иван, его братья Николай и Александр, березовский воевода Бобровский, пристав при Долгоруких майор Петров, Овцын, Лихачев, Кашперов, трое священников, слуги Долгоруких и некоторые жители Березова — всего более шестидесяти человек — были увезены в Тобольск.
Наталья Борисовна осталась в Березове с семилетним сыном Михаилом, с младшим братом Ивана, золовками, ожидая рождения сына Дмитрия и ничего не зная о судьбе мужа. «Я кричала, билась, волосы на себе драла, — описывает она свое отчаяние, — кто ни попадет встречу, всем валяюсь в ногах, прошу со слезами: помилуйте, когда вы христиане, дайте только взглянуть на него и проститься! Не было милосердного человека, не словом меня кто утешил, а только взяли меня и посадили в темнице и часового, примкнувши штык, поставили».