Владыка Иларион на все смотрел духовными очами и все служило ему на пользу духа. Он подчеркивал, что заключение - бесценная школа добродетелей. Духовенство обкрадывается и обирается - есть повод воспитывать в себе нестяжание: оскорбляют, обижают, бьют -смирись, возлюби обидчика. Владыка в лагере не прекращал своей архипастырской деятельности, не гнушаясь общения даже с уголовниками. Любовь его к каждому человеку, внимание и интерес к каждому были поразительными.
Будущий известный писатель Олег Волков, тогда еще молодой человек, ходил навещать Владыку. "Преосвященный встречал нас радушно - вспоминал он. - В простоте его обращения было принятие людей и понимание жизни... Мы подошли к его руке, он благословил нас и тут же, как бы стирая всякую грань между архиепископом и мирянами, прихватил за плечи и повлек к столу." "Надо верить, что Церковь устоит, без этой веры жить нельзя. Пусть сохранятся лишь крошечные, еле светящие огоньки, когда-нибудь от них все пойдет вновь. Без Христа люди пожрут друг друга", - записал слова Владыки Волков.
По словам о. М. Польскою, за формой веселости и даже светскости можно было постепенно усмотреть детскую чистоту, великую духовную опытность, доброту и милосердие, нравственное совершенство. Это было юродство, с помощью которого святитель скрывал внутреннее делание. Под руководством святителя духовенство получало огромный опыт, потому что он сам своим примером показывал, что значит смиряться.
Вместе с тем известен еще один эпизод о жизни святителя в лагере. Когда пришло известие о смерти Ленина, заключенных заставили простоять пять минут в молчании. Владыка же демонстративно лежал на нарах и говорил: "Подумайте, отцы, что ныне делается в аду: сам Ленин туда явился, бесам какое торжество."
В конце лета 1925 года из Соловецкого лагеря архиепископ Иларион был неожиданно изъят и доставлен в Ярославль, в изолятор "Коровники". Об этом времени святитель вспоминал как о самом светлом времени долгой неволи. Власти, еще надеясь заключить некое соглашение, попустили льготы невиданные. Он мог читать любые книги, писать, и, после цензуры, отправлять на волю написанное. В известных ныне его письмах поражает великое смирение и великая благодарность Богу за все дарованное ему, за скорби и за радости.
Вместе со святым Иоанном Златоустом златоустый российский святитель донес до близких ему людей свою сердечную мысль: "Слава Богу за все".
В Ярославль Владыка был переведен для переговоров с сотрудником ГПУ Е. Тучковым и епископом Гервасием (Малининым), которые попытались склонить Владыку на сторону нового "григорьевского" раскола во главе с епископом Екатеринбургским Григорием. Но на посулы стать митрополитом, на ложь и на лесть Владыка ответил категорическим отказом. Тогда сотрудник ГПУ сказал: "Приятносумным человеком поговорить. А сколько вы имеете срока на Соловках? Три года?! Для Илариона три года! Так мало?!"