Дело в том, что с июля 1744 года в Холмогорах помещалось несчастное семейство младенца-императора Ивана Антоновича вместе с членами его семьи из Брауншвейгской фамилии. Там жили мать свергнутого императора Анна Леопольдовна, его сестры Екатерина и рожденная в ссылке Елизавета, братья Петр и Алексей, появившиеся на свет уже в заключении и ни разу в жизни не видавшие старшего, царственного своего брата. В марте 1746 года, после рождения сына Алексея, мать их, Анна Леопольдовна, скоропостижно скончалась; и все четверо детей остались с отцом Антоном-Ульрихом, который вообще никогда не претендовал на русский или какой-либо другой престол. Охраняли пленников полторы сотни солдат во главе с двумя полковниками.
При Иване Антоновиче жил, ни минуты не спуская с него глаз, майор Миллер. Командовал караульной ротой полковник Вындомский, но майор мог и не выполнить его приказ, если не считал нужным. Те пять последних лет, что Миллер провел с глазу на глаз с принцем Иваном Антоновичем, были самыми ужасными в его жизни. Вместе с майором жила и его жена, которой так же отводилось лишь четверть часа на прогулки в закрытом дворике, и то, когда он убедится, что узник крепко спит. При том строжайше запрещалось выходить за стены крепости. Миллер не мог даже мечтать сходить с женой даже в гости к сослуживцам, а уж о приеме у себя кого-либо, то и совсем было из области несбыточных фантазий. Никто из солдат никогда не видел в лицо самого принца, а на непредвиденный случай в специальном ларчике хранилась стальная маска с прорезями для глаз, рта и носа, застегивающаяся на крепкий замок. Согласно особой инструкции, майор Миллер должен был, не взирая на опасность для собственной жизни, охранять жизнь пленного царевича от любых посягательств. В крайнем случае, умереть вместе с ним, но не дать тому выйти на свободу.
Иван Антонович был уже подростком, но плохо представлял, кто он такой и почему находится постоянно в закрытой наглухо комнате. Он не помнил лиц ни матери, ни отца, но твердо помнил их слова о том, что он законный российский император по своему высокородному рождению, и лишь злые люди отобрали у него власть обманом. Майор Миллер от нечего делать, в шутку, начал учить того грамоте по Евангелию и был вскоре несказанно удивлен его успехами: через пару месяцев царевич не только бегло читал, но и произносил наизусть целые куски из понравившегося ему текста. Потом были Апостол, жития святых. Библия. Иных книг Ивану Антоновичу давать не полагалось.
В силу все тех же верховных инструкций заключенного следовало называть не иначе, как Григорием. Майор недоумевал, откуда взялось именно это имя, но инструкции выполнял, чем постоянно вызывал гнев царевича.