Во главе конвоя, окружавшего кареты, находился генерал-лейтенант граф Василий Федорович Салтыков, которому, согласно манифесту императрицы, поручено было отвезти всю Брауншвейгскую фамилию через Нарву и Ригу за границу Российского государства, в г. Кенигсберг, и там предоставить им свободу.
Салтыкову дано было предписание все время иметь строгий надзор над бывшей правительницей, маленьким императором и всеми сопровождавшими их лицами и не позволять ни с кем сноситься. Кроме того, особым секретным приказом Салтыкову велено было ехать медленно и под разными предлогами останавливаться в пути.
Не успел Салтыков доехать с пленниками до Риги, как данное ему первоначально распоряжение было отменено и последовал приказ: Иоанна Антоновича, его родителей и всех бывших с ними не везти за границу, а задержать в Риге и поместить там в цитадели, не допускать к ним никого, не позволять получать от кого-либо письма и писать кому бы то ни было.
Поводом к отмене первоначального намерения новой императрицы отпустить Анну Леопольдовну с семейством за границу явилось подозрение, что у бывшей правительницы остались в Петербурге сторонники, которые захотят вызвать ее в Россию и при содействии иностранных государств посадить вновь на престол Иоанна Антоновича или даже саму Анну Леопольдовну.
Не довольствуясь приказами, данными Салтыкову, Елизавета Петровна велела окружить в Риге Иоанна Антоновича и его семейство шпионами. Последние вскоре поспешили донести императрице, что принцесса Анна часто бранит приставленного к ней Салтыкова, а принц Иоанн, т. е. свергнутый император, «играючи с собачкою, бьет ее по лбу, а как его спросят: «Кому-де, батюшка, голову отсечешь?» — он отвечает, что Василию Федоровичу (Салтыкову)». Спрошенный об этом Салтыков ответил, что все это неправда и что принц Иоанн вообще почти ничего не говорит, а бывшая правительница обращается с ним вежливо и никогда не бранит.
Больше года пробыли Иоанн Антонович и его родители в Риге, не зная ничего о дальнейшей своей судьбе.
В конце 1742 года императрица решила перевезти все Брауншвейгское семейство в другое место. Решение это последовало в связи с предостережением со стороны короля прусского Фридриха II, который писал, что пребывание свергнутого с престола императора и его матери в Риге опасно, потому что они могут оттуда легко бежать за границу и при содействии Швеции добиться провозглашения Иоанна вновь императором. Поэтому в декабре 1742 года все Брауншвейгское семейство перевезли в крепость Дюнамюнде (Двинск), куда проникнуть было труднее. Но и это оказалось недостаточным, и спустя год решено было увезти Иоанна Антоновича и всех его родных вглубь России, избрав для них местом пребывания небольшой городок Раненбург (в нынешней Рязанской губернии).