В апреле 1742 года в Москве состоялась торжественная коронация Елизаветы, а летом разнесся слух, будто камер-лакей Александр Турчанинов и несколько гвардейцев замыслили заговор, чтобы убить Елизавету и ее наследника и возвести на престол Ивана Антоновича. Еще через год, летом 1743 года, раскрыли «заговор» Лопухиных, в котором тоже фигурировал Иван Антонович. На самом деле никакого заговора не было, была интрига с целью свалить канцлера А. П. Бестужева, но императрица, постоянно опасавшаяся переворота, перепугалась.
В январе 1744 года последовал указ: брауншвейгское семейство, содержавшееся в Дюнамюнде под Ригой, перевезти в Раненбург, в Воронежскую губернию. Летом 1744 года Елизавета поручила камергеру Николаю Корфу перевезти семейство в Архангельск, а оттуда — в Соловецкий монастырь. Принца Иоанна велено было майору Миллеру везти особо: «Когда Корф отдаст вам младенца четырехлетнего, то оного посадить в коляску и самому с ним сесть и одного служителя своего или солдата иметь в коляске для бережения и содержания оного; именем его называть Григорий. Ехать в Соловецкий монастырь, а что вы имеете с собою какого младенца, того никому не объявлять, иметь всегда коляску запертую[11]. В августе мальчика оторвали от матери — им не суждено было больше увидеться — и всех повезли к Белому морю. Но в октябре было невозможно добраться до Соловков, и сердобольный Корф уговорил оставить ссыльных в Холмогорах, в архиерейском доме. Там, в Холмогорах, они и жили. Иван — под именем Григория — отдельно от родителей. В 1745 году Анна Леопольдовна родила сына Петра, а в 1746 при родах сына, названного Алексеем, Анна Леопольдовна умерла. Погребли ее в Александро-Невской лавре рядом с матерью. Елизавета присутствовала при церемонии и плакала. Остальные продолжали жить в Холмогорах: Иван под надзором Миллера; его отец, сестры и братья — знатока географии Вындомского.
Елизавета наложила запрет на упоминание царствования Ивана Антоновича: все указы и постановления предыдущего царствования были изъяты, портреты, медали, монеты с изображением императора и его матери уничтожались.
И потому дело Зубарева, в котором плоть и кровь как бы обрели разговоры, слухи, перешептывания о несчастном ребенке, так напугали Елизавету. 26 января 1756 года сержант лейб-компании Савин в глухую зимнюю ночь вывез пятнадцатилетнего Ивана из Холмогор, а Вындомский получил инструкцию «за Антоном Ульрихом и за детьми его смотреть наикрепчайшим образом, чтобы не учинили утечки[12]. Путь же Ивана лежал в крепость Шлиссельбург — там российские власти содержали особо опасных преступников.