Одновременно люди Пашкова приступили к сбору ясака с местного населения. Из-за измены толмача в начале зимы началось восстание таргачинских и баргутских «мужиков», в результате которого погибли десять ясачных сборщиков. На подавление мятежа был послан сын Пашкова Еремей с 260 казаками на конях, на лыжах и на нартах. Однако, взяв в плен 40 человек и захватив 500 лошадей, отряд Еремея Пашкова так и не достиг Баргутской и Таргачинской земель из-за дальности расстояния.
В конце зимы 1658 года отряд Пашкова, оставив в Иргенском остроге 20 казаков, отправился в дальнейший путь. Через Иргенский волок вышли на реку Ингоду. Аввакум в своём «Житии» подробно описывает этот тяжелейший переход, оставивший неизгладимый след в его памяти. Неимоверные лишения, голод и холод, которые приходилось переживать всем участникам экспедиции, усугублялись бесчеловечными издевательствами со стороны Пашкова: «А он, Афонасей, наветуя мне, беспрестанно смерти мне искал…»
«…Один бедной горемыка-протопоп нарту сделал и зиму всю волочился за волок, — вспоминал Аввакум. — У людей и собаки в подпряшках, а у меня не было; одинова лишо двух сынов, — маленьки еше были, Иван и Прокопей, — тащили со мною, что кобельки, за волок нарту. Волок — верст со сто: насилу бедные и перебрели. А протопопица муку и младенца за плечами на себе ташила; а дочь Огрофена брела, брела, да на нарту и взвалилась, и братья ея со мною помаленьку тащили. И смех и горе, как помянутся дние оны: робята те изнемогут и на снег повалятся, а мать по кусочку пряничка им даст, и оне, съедши, опять лямку потянут; и кое-как перебилися волок, да под сосною и жить стали, что Авраам у дуба мамврийска. Не пустил нас и в засеку Пашков сперва, дондеже натешился, и мы неделю-другую мерзли под сосною с робяты одны, кроме людей, на бору, и потом в засеку пустил и указал мне место. Так мы с робяты отгородились, балаганец сделав, огонь курили и как до воды домаялись».
Когда вышли к Ингоде, приступили к рубке леса и заготовке брёвен для двух будущих острогов — Верхшилкского и Даурского. Для первого сделали четыре башни и все острожные стены, а для второго — восемь башен, в том числе две проезжих, и двести саженей острожных бревен на четыре стены. Заготовили также лес на избы и на церковное строение. С началом навигации все бревна сбили в 170 плотов, погрузили на них лошадей и имущество и двинулись дальше, вниз по реке. Водный путь занял целых три недели. Не хватало людей, плоты часто разбивало на мелководье. Ко всему прочему, начался голод.
«Весною на плотах по Ингоде реке поплыли на низ. Четвертое лето от Тобольска плаванию моему. Лес гнали хоромной и городовой. Стало нечева есть; люди учали с голоду мереть и от работныя водяныя бродни. Река мелкая, плоты тяжелые, приставы немилостивые, палки большие, батоги суковатые, кнуты острые, пытки жестокие — огонь да встряска