Его пристрастие к книгам, а также то, что он почти никогда не бывал в церкви и совсем не пил вина, породили к нему среди местных жителей особенное отношение. А когда некоторые из них узнали отдельные подробности из жизни нового поселенца, то за Устюжаниновым установилась слава странноватого чудака, склонного ко всяким вракам.
Через три года после его приезда в Нерчинск мужа его сестры перевели в другой приход. Сестра с ребятишками уехала вместе с ним, и Иван вновь остался совершенно один.
Однажды в руки к нему попала уже изрядно затрепанная книжка: «Новоявленный ведун, поведующий гадания духов». В другой раз Иван не обратил бы на нее никакого внимания, но у него давно уже не было ни одной новой книги, и он стал листать «Ведуна».
Взор его остановился на фразе: «Все берега Африканские и Американские стонут от бесчеловечья, с которым сахарные промышленники поступают с черноцветными народами», — прочел Иван и подумал: «Вот так „Ведун, поведующий гадания духов“!» Он перелистнул одну страницу, вторую, третью: «Божок Ажуланачье, — прочел Иван, — у всех камчадалов караулит юрту от лесных духов, а в поставце — посуду от воров. Он хотя и болванчик, а пользу делает. Сему не дивись! Ведь и у нас болваны-то полезны: они служат для отличения бедного разумного человека от богатого дурака: болван аж хоть золоченый, а все-таки — болван!»
Иван улыбнулся и посмотрел на имя автора. «Федор Каржавин, — прочел он, — Санкт-Петербург, 1789 год».
Он долго собирался написать письмо Каржавину, да все откладывал. И снова попала ему книга этого же автора. Называлась она «Краткое известие о достопамятных приключениях капитана де Сивиля» и была напечатана в Москве в 1791 году.
«Двенадцать лет, — писал Каржавин, — прожил я в разных областях, как холодной, так и теплой Америки. Был всего двадцать восемь лет вне отечества: следовательно, довольно поездил. Правда, не по белому свету, однако и не по черному, но по простому, каков он есть. И везде старался увидеть диких людей, однако старания мои были тщетны.
Множество народа я видел, которые не так живут, как мы, не так, как и прочие европейцы, видел я людей разумных, видел и глупых. Везде я нашел человека, но дикого — нигде».
В этот же день Иван написал Каржавину письмо, отправив его типографщику Зотову, издавшему «Приключения» отважного де Сивиля.
В письме он кратко сообщал о том, что и его судьба забросила в Новый Свет и что, возможно, Каржавин не откажется от переписки с ним.
Ответное письмо пришло через полтора года. Каржавин писал: «Дорогой, далекий друг! Не перестаю удивляться всем превратностям, какие судьба приуготовляет людям. Думал ли я, что несколько строк из книги моей столь приятно для меня отзовутся!»