Интерес к этому забытому краю, любовь к людям, его населяющим, направляли всю жизненную деятельность Орлова. Он любил рассказывать о простодушии, благородной доверчивости, верности и справедливости тунгусов, в общении с которыми провел много лет.
Из рассказов Орлова о своих странствиях сама собою складывалась история карьеры некоего лейтенанта Завойко и возникновения порта Аян. С интересом слушая бывалого штурмана, Невельской никак не предполагал, что вся эта история тесно сплетется с его собственной судьбой, а благодаря Завойко он переживет самые горькие и тяжкие минуты своей жизни.
Вот эта история, подкрепленная фактами, которых в то время не могли знать ни Невельской, ни Орлов.
В 1840 году лейтенант Завойко, женившись на племяннице Ф. П. Врангеля, председателя правления Российско-Американской компании, перешел на службу компании. Случилось так, что для него не нашлось хорошей вакансии и он должен был первое время довольствоваться местом начальника Охотской конторы. Это был перевалочный пункт компании, не имевший большого значения и не дававший надежд на возможность выдвинуться.
Корабли компании приходили сюда из Аляски и с Алеутских островов. Начальник Охотской конторы должен был принимать от них меха, хранить их на складах, а затем сдавать комиссионеру для доставки в Якутск и дальше. Деятельность не очень блистательная. Но Завойко - человек энергичный, самолюбивый и изобретательный - стал искать пути к изменению такого положения.
И путь этот нашелся. Охотск, почти полтораста лет служивший единственным портом, при помощи которого Камчатка и американские владения сообщались с Россией, был чрезвычайно неудобен и для кораблей и для жителей. Корабли не имели в нем надежного убежища, часто терпели бедствия и гибли. Люди, вынужденные располагать свои жилища сообразно нуждам порта, были лишены леса для отопления, воды и т. д. Все это приходилось привозить издалека. Кроме того, случались наводнения, смывавшие городок вместе с людьми, скотом и завезенными грузами.
Давно шла речь о переносе порта куда-нибудь в более удобное место, но побережье Охотского моря почти не имело вполне безопасных бухт, во-первых, и, во-вторых, между Охотском и Якутском был тракт, которым пользовались, хорошо ли, худо ли, все же почти двести лет. В новый же порт нужно было искать и новый путь. Для решения этих вопросов можно было попытаться открыть судоходство по Амуру и в его устье создать порт, как стремился сделать это Невельской. Но Завойко не обладал дальновидностью Невельского и широтой его ума. Он пошел проторенным путем.