Через два года капитан-семеновец Максим Вындомский получил от Елизаветы приказ отвезти их в Раненбург (Ораниенбург). Слабо разбираясь в географии, бравый капитанище повез «фамилию» в Оренбург — совсем в другую сторону. Как пишет генеалог Н. Н. Кашкин, «коща ошибка обнаружилась, то досталось от Вындомского памяти Петра I, наградившего же чисто русский Рязанский край столь нелепым названием!» Со страшной руганью капитан все же доставил брауншвейщев до этого нелепого города на Рязанщине. Впрочем, Брауншвейгское семейство пробыло в Раненбурге недолго. В 1744 году в Петербурге был раскрыт австрийский заговор в пользу сверженного императора, и тогда же Иоанна отделили от его родителей. Елизавета велела заточить всю «фамилию» на Соловках; они уже прибыли в Беломорье, но ледостав помешал переправке их на монастырский архипелаг. Семейство временно разместили в архиерейском доме в Холмогорах, обнесли дом высоким частоколом, и получилась самая настоящая тюрьма. В этой-то холмогорской тюрьме они и стали жить постоянно. С ними была и Юлиана Менгден, которая в заточении превратилась в скандалистку и склочницу, сводившую «стенку со стенкой»; к тому же Юлиана в тоске стала увлекаться мужчинами из охраны…
Иоанн Антонович провел в Холмогорах 12 лет в полной изоляции; хотя родители пребывали за стенкой, но он их не видел. Охранявшие императора не имели права общаться с другими людьми. Холмогорцы даже не ведали, кто был заключен в архиерейском доме. Общее несчастие сблизило супругов, столь ненавидевших раньше друг друга; скоро их окружало большое семейство — два сына и две дочери (не считая Иоанна). Зачатые в остроге, вскормленные под штыком, воспитанные страхом, дети росли глухонемыми, рахитиками и полуидиотами. Анна Леопольдовна скончалась в родах, всего 28 лет от роду. Тело бывшей правительницы России вывезли из Холмогор и погребли отдельно от Романовых — в приделе Благовещенской церкви, что на кладбище Александро-Невской лавры в Санкт-Петербурге.
Принц Антон Брауншвейгский остался с детьми, рождение которых было строго засекречено от народа. Можно пожалеть этого пришлого неудачника, который силою политических обстоятельств был вовлечен в опасную игру брачных союзов.
Архангельский губернатор имел по 15 тысяч в год на содержание «фамилии», но грабил ее так ловко, что принц по полгода не мог выпросить себе чашки кофе.
От сидячей жизни принц растолстел, погрубел. Когда на престол вступила Екатерина П, она разрешила Юлиане Менгден выехать в Ригу, а принцу Антону дозволила покинуть Россию, но без детей. Старый, слепнущий человек решил до конца разделить неволю с детьми. Окончательно потеряв зрение, он умер в 1774 году, а могила его в Холмогорах была неслышно затоптана временем.