При выезде из Ораниенбурга, по приказу Елизаветы, четырехлетнего ребенка впервые и навсегда разлучили с родителями. Его увез в отдельном экипаже майор Миллер, получив указ:
«Оного посадить в коляску и самому с ним сесть. Именем называть его „Григорий“. Проезжать только ночью, иметь всегда коляску закрытой, о младенце никому не объявлять».
Был март 1745 года. Была весенняя распутица. Ребенок скучал и плакал.
Изгнанники надолго застряли в Холмогорах, в бывшем архиерейском доме.
Елизавета, узнав о сем, приказала:
«Известным персонам здесь и жить в теснейшем заключении, младенец отдельно».
Вскоре камергеру барону Корфу, ведающему «известными персонами», дан был секретнейший приказ:
«Ежели, по воле божией, случится кому из них смерть, особливо же принцессе Анне или принцу Иоанну, то, учиня над умершим телом анатомию и положа в спирт, тотчас же смертное тело к нам прислать с нарочным офицером».
Но супруги брауншвейгские вовсе и не думали умирать, а, наоборот, благополучно в изгнании плодились. Так, Анна Леопольдовна в Холмогорах разрешилась сыном. Елизавета и весь двор поморщились: в Риге родилась девочка, а вот теперь опять принц, новый претендент, брат Ивана. Не прошло и года, опять беда, опять родился мальчишка. Получив о сем известие, императрица Елизавета в великой досаде изволила оный рапорт изорвать в клочки. «Престранная плодливость… Ну прямо крысы!» – воскликнула она.
Однако, родив Алексея, принцесса Анна захворала и в марте 1746 года «великою горячкою и волею божьей помре». Елизавета ликовала: слава богу, брауншвейгская семья пошла на убыль. Анатомированное тело Анны Леопольдовны прибыло в Питер, прямо в Александро-Невский монастырь, где почившая принцесса и погребена с почестями.
В это время хворый от природы и недавно перенесший смертельные болезни – осложненную корь и оспу – великий князь Петр Федорович опять лежал больным. Елизавета, Екатерина, двор, иностранные послы предвидели, что в случае смерти Петра Федоровича неминуемо будет объявлен наследником престола все тот же принц-младенец, бывший император Иван III.
У великой княгини Екатерины Алексеевны при этих мрачных мыслях переворачивалось сердце, она четко понимала, что заточение Ивана есть причина ее личного благополучия. Она ко всему прислушивалась, присматривалась, мысленно одобряла все жестокие, прямо бесчеловечные действия Елизаветы по отношению к брауншвейгской фамилии и «несчастнорожденному» Ивану; она знакомилась с подробностями дворцовой революции, возведшей Елизавету на престол, и находила, что подобные перевороты не только возможны, но и легко осуществимы.