Елизавета Петровна приняла решение выслать всю семью Ивана Антоновича из страны. 28 ноября был опубликован манифест, и в сопровождении конвоя семья императора покинула Петербург, направляясь к западной границе России.
Но Елизавета тут же пожалела о проявленном великодушии. Царственная семья за границей с помощью могущественной родни могла стать серьезной опасностью для нее. Целый год продолжалось искусственно замедленное путешествие свергнутого императора, окончившееся заточением в крепости Динамюнде, где узники провели больше года.
В 1744 году по приказу Елизаветы Петровны Анна и Антон Ульрих вместе с Иваном, Екатериной и рожденной в крепостных казематах дочерью Елизаветой были переправлены в Воронежскую губернию, в город Раненбург.
В конце августа того же года в Раненбург приехал майор Корф и увез 4-летнего Ивана Антоновича на север. Он не выпускал ребенка на улицу и никому не показывал его лица. Называть тайного узника следовало именем Григорий. Мальчика привезли в подземную тюрьму Соловецкого монастыря.
27 февраля 1746 года Анна Леопольдовна родила принца Алексея. Рождение каждого ребенка усиливало ненависть Елизаветы. Она понимала, что каждый из рожденных Анной Леопольдовной детей имел больше прав на российский престол, чем она. В припадке ярости Елизавета разорвала рапорт о рождении Алексея. Вскоре пришло известие о смерти Анны Леопольдовны, скончавшейся после родов.
Тело Анны Леопольдовны было заспиртовано и отправлено в Петербург. Анну Леопольдовну назвали брауншвейгской принцессой и похоронили в Благовещенской церкви.
Шли годы. Одна тюрьма сменялась другой. Последним пристанищем Брауншвейгского семейства стал архиерейский дом в Холмогорах. Маленького Ивана навсегда отделили от родителей. И они не знали, что произошло с ребенком. Бывшего императора содержали в совершенно изолированной комнате без окон. Охранники докладывали, что мальчик каким-то образом все же узнал о том, кто он, и называет себя императором.
Иван Антонович был физически здоровым и совершенно нормальным ребенком. Но его участь была страшной: все лучшие годы детства, юности и молодости были проведены им в четырех стенах пустой комнаты, где из мебели были только стол, стул и кровать.