Раз в неделю ночью с завязанными глазами Ивана водили через двор в баню. О другом мире мальчик мог составлять представление только по вдыхаемому им в течение нескольких минут свежему воздуху, по крикам ночных птиц и шуму листвы на деревьях.
В 8-летнем возрасте мальчик заболел оспой и корью одновременно. Императрица Елизавета разрешила допустить к больному лишь одного монаха, причем в самый тяжелый момент, но ребенок выжил.
Сохранилось свидетельство современника, видевшего Ивана взрослым: «Он был белокур, даже рыж, роста среднего, очень бел лицом, с орлиным носом, имел большие глаза и заикался. Разум его был поврежден. Он вызывал к себе сострадание, одет был худо».
В начале 1756 года Ивана перевели в Шлиссельбургскую крепость. Там его пытались убедить в том, что он не император Иван Антонович, а сын неизвестных родителей и зовут его Григорий. Но Иван упорно твердил свое: «Я – Иоанн, самодержец всея Руси».
В один из дней 1756 года императрица Елизавета пожелала посмотреть на Ивана Антоновича. Она увидела плохо одетого юношу, худощавого, с белокурыми волосами, матово-белой кожей, длинным носом и большими серо-голубыми глазами. Сильно заикаясь, он говорил, что «Иоанн умер, а сам он – небесный дух». Императрица сочла его душевнобольным. Охранники регулярно доносили императрице, что «арестант здоров, только в уме помешался». В доказательство они сообщали, что временами заключенный буйствует, бросается на караульных, кричит и бранится с ними.
Но по стране ходили слухи о жизни свергнутого императора. Елизавета Петровна предприняла огромные усилия, чтобы уничтожить память о правлении Анны Леопольдовны и Ивана VI. Из архивов были изъяты и уничтожены все документы, где упоминались их имена, отменены все указы и законы, принятые во время их царствования.
В 1764 году подпоручик Смоленского пехотного полка Василий Яковлевич Мирович в ночь своего дежурства с 4 на 5 июля попытался договориться с охранявшими Ивана Антоновича офицерами об освобождении узника, те отказались. Тогда Мирович скомандовал солдатам: «К ружью!». Вместе с солдатами он намеревался штурмом взять помещение, где содержался несчастный юноша. Охрана поняла, что ей не выдержать натиска солдат Мировича, и стала действовать по данной ей инструкции: Иван Антонович был убит при попытке его освобождения.
Тело Ивана VI Антоновича, которому не исполнилось и 24 лет, было тайно погребено в Шлиссельбургской крепости, чтобы никто и никогда не нашел его могилы.