А тем временем Бирон и Анна искореняли и остальных Долгоруких. В декабре 1731 года по доносу одного из немецких генералов фельдмаршала Василия Владимировича и его жену арестовали. Его обвинили в том, что он оскорблял императрицу «поносительными словами». Сенат и генералитет собрались и с обычной угодливостью вынесли князю Василию и его «сообщникам» — племяннику Георгию Долгорукому, князю Алексею Барятинскому и гвардейскому офицеру Георгию Столетову смертный приговор. Анна «милостиво» заменила казнь тюремным заключением: фельдмаршала отправили в Шлиссельбургскую крепость, остальных — в сибирские остроги. Брат фельдмаршала Михаил Владимирович, вначале назначенный губернатором в Астрахань, был послан в дальнее имение вместе со своим старшим сыном, а его младшие сыновья были отданы в солдаты без права производства в офицеры (самого младшего, Василия, было запрещено учить грамоте, и будущий московский генерал-губернатор до конца своих дней едва-едва мог подписываться).
На некоторое время о Долгоруких как бы забыли. Князь Иван и его братья жили в Березове. Наталья Борисовна воспитывала сына Михаила, родившегося в 1731 году, и готовилась к рождению второго — Дмитрия. Василий Лукич («самый воспитанный и располагающий к себе из всех русских», по отзыву одного из иностранных дипломатов) содержался в Соловецком монастыре.
Но вот наступила вторая половина царствования Анны Иоанновны. Шла долгая и неудачная война с Турцией, когда русская армия страдала не столько от неприятеля, сколько от собственных казнокрадов, жестоких генералов и двуличия союзной Австрии. Финансы находились в расстройстве — немецкие фавориты императрицы и нелепая, варварская пышность двора опустошали казну. Не знали предела административный произвол и лихоимство чиновников в провинциях. Голод, пожары и разбои вспыхивали повсеместно. Бироновщина вошла в полную силу, и поскольку сознательно или подсознательно она ставила целью уничтожение и унижение национальных петровских стремлений, то острие ее обращалось в первую очередь против тех родовитых русских, само существование которых будило надежды на возрождение России и продолжение дела преобразователя, на прекращение состояния, когда Россия становилась дойной коровой для курляндских и голштинско-мекленбургских проходимцев.
Придворные шуты — князь Никита Волконский, князь Михаил Голицын, граф Алексей Апраксин — играли в чехарду в спальне императрицы, кудахтали, сидели на лукошках с яйцами, заботились о здоровье царской собачки. А их родственники (зять Волконского Алексей Бестужев был кабинет-министром Анны, а двоюродный брат Апраксина — камергером) как ни в чем не бывало искали милости Бирона и императрицы. «Отсутствие достоинства и готовность терпеть унижения у русских придворных воистину удивительны!» — воскликнет один из потомков этих придворных уже в нашем веке. Тех же, кого не могли согнуть, уничтожали.