Починив экипажи и дождавшись выздоровления Рубановской, они двинулись на Иркутск, куда и прибыли 8 октября 1791 года.
«Наконец, по многотрудном путешествии, я через 2 месяца и 8 дней прибыл в Иркутск со всей моей семьей. Дорога наша по причине худой погоды и нездоровья Елизаветы Васильевны была скучна и тягостна… В Иркутске благодеяния и милости вашего сиятельства меня предварили. Я везде нахожу здесь человеколюбие, соболезнование, ласку. От Ивана Алферьевича (генерал-губернатор Пиль) получил я книги, инструменты и деньги… Я славу богу здоров или почти здоров».
В Иркутске Радищев закупил необходимые продукты, домашнюю утварь, упаковал книги и в начале декабря уехал в Илимск, находящийся в 500 верстах от Иркутска. Река Ангара еще не замерзла, поэтому приходилось ехать вдоль берегов Лены большою якутской дорогою. Это удлиняло путь на 400 верст.
Медвежья глушь Илимска, отсутствие культурного общества, трудности сообщения с Воронцовым — все это пугало и наводило Радищева на грустные размышления.
«Оставь надежду вс як сюда входящий» — писал он Воронцову в последнем письме из Иркутска. «Напрасно я утешал себя относительно моего состояние. В жизни есть такие моменты, когда воображение лишь с трудом может возвыситься, чтобы преодолеть слишком большую реальность с помощью того, что возможно… Расстояние в 6 000 верст будет отделять меня от вас… нет регулярной почты… 3 месяца надо ждать ответа… Да, это ужасно!».
В январе месяце 1792 года Радищев вместе с семьей прибыл в Илимский острог. Два унтер-офицера следовали за ним на запятках. Они должны были наблюдать за повседневным поведением «государственного преступника».
Наступили скучные и однообразные дни ссылки; среди обширных лесов Сибири, среди диких зверей и народностей, которые от животных часто отличаются только своей членораздельной речью и которую они не умеют ценить по достоинству».
В записях дневника путешествия в Сибирь нет ни выводов, ни обобщений; в нем почти нет описания природы Сибири, лирических отступлений и того риторического многословия, которое характерно для литературного стиля Радищева. Но как «зритель без очков» он не пропускает мимо своего внимания ни одного факта и события из области социально-экономической и Культурно-бытовой жизни окружающего. Нравы, обычаи и привычки сибирских жителей, их занятия, состояние земледелия, кустарных промыслов, промышленности и торговли; цены на хлеб, пушнину и рыбу; судоходность сибирских рек, естественные богатства гор и лесов — все привлекает пытливый ум путешественника по несчастью; обо всем он делает короткие заметки.