Дети его, вступившие уже в сорокалетний возраст, остались без отца. Но у брауншвейтцев, помимо Фридриха II, была еще знатная родня в Европе. Родная тетка их, королева Дании, хлопотала за них. Екатерина II рискнула выпустить брауншвейгцев за границу. Когда им сообщили эту весть, они дружно попадали на пол и долго тряслись от страха. При имени императрицы прятались по углам, как дикари. Знали они только русский язык, но объяснялись на нем скверно, прибегая к помощи мимики и жестикуляции. Весть о свободе была для них ужасна, они отвечали посланцам Екатерины:
— Мы не хотим никакой свободы и боимся ее! Если желают, чтобы мы стали свободны, пусть нас выпускают гулять за острог. Мы слышали, что там растут цветы, которых мы никогда еще не видели. Нам прислали от двора одежду, панталоны, корсеты и наколки, но мы не знаем, как их носить. Мы никогда не видели людей, кроме караульных, и мы не знаем, как выглядят иные люди на свободе…
Осенью 1780 года русский фрегат «Полярная звезда» после бурного плавания бросил якоря близ Бергена. Оттуда четырех брауншвейтцев (Екатерину, Алексея, Елизавету и Петра) перевезли в ютландский городишко Горсензэ. Напрасно датские родственники пытались растормошить своих сородичей, скованных страхом.
Скудоумные невежды, они прятались от датчан так же, как раньше таились по углам от приставов. Им предлагали различные забавы, чтобы расшевелить их чувства, но брауншвейгцы признавали только примитивную игру в карты. Юмора и шуток они совсем не понимали. Заметив, что люди вокруг них смеются, они тоже начинали хохотать как бешеные, даже не зная причины смеха. Но пенсия от русского правительства была очень большая, и датская королева махнула на своих племянников рукой: пусть живут как хотят! Постепенно они вымерли. Но до самой смерти не забывали Холмогор и острога, постоянно сожалея, что покинули свою тюрьму, а последняя из Брауншвейгской фамилии, принцесса Екатерина Антоновна, еще в 1803 году докучала Александру I письмами, в которых выклянчивала разрешение вернуться в Холмогоры. Она умерла в дикой скуке в 1807 году и замкнула цепь несчастий своей «фамилии».
Елизавета Петровна старательно уничтожала следы императора Иоанна: была перелита заново монета с изображением младенца, переделаны все штампы печатей с его титулом, безжалостно сжигались на кострах многопудовые архивы тех лет, и на огне пропало для истории немало ценнейших документов. Все 20 лет Елизавета неизменно помнила, что в заточении подрастает сверженный ею соперник.
Она вызвала из Голштинии своего племянника (Петра III), женила его на принцессе Ангальт-Цербстской (Екатерине II), она дождалась от них внука (Павла I), но покоя так и не обрела. Родственные связи Иоанна с королем прусским были особенно тогда опасны для России, а Манштейн работал…