Тогда враги перешли к другой тактике — начали насильственное переселение в Маньчжурию коренных народов Приамурья, испокон веков плативших дань азиатам. Сжигая посевы, разрушая и уничтожая их народ, маньчжуры стремились превратить Приамурье в пустыню. Не имея возможности добывать себе продовольствие, русские-де долго не протянут на этой земле.
Пока переселенцы не освоились на новых землях, им приходилось прибегать к помощи живших здесь немногочисленных племен, тех же дауров,[7] с которыми русским удалось тогда быстро найти общий язык. Дауры — трудолюбивый народ. Они сеяли ячмень, овес и просо, а также имели большие стада и ездили на волах, лошадях. В отличие от живших выше по Амуру братских и намясинских тунгусов, которые нередко нападали на селенья казаков, уводя у них скот и лошадей, эти, напротив, делились с русскими всем у них имеющимся. Более того, в качестве отличных стрелков из лука дауры часто вставали на сторону казаков, когда тем приходилось отражать нападения кочевников и маньчжуров.
К 1657 году даурские и дючерские[8] селения были полностью уничтожены. Царевым слугам стало не с кого брать дань натурой и не у кого закупать продовольствие. Пашен пока было мало, хлеба не хватало, и казаки Степанова вынужденно совершали набеги на маньчжурские селения в низовьях Сунгари. В одном из таких походов в июне 1658 года отряд Степанова попал в засаду, а после вообще разбит. Часть его людей сумела прорвать вражеское кольцо и уйти в верховья Амура. Сам же Степанов и двести семьдесят казаков погибли в бою.
Почуяв силу, маньчжуры усилили свои набеги на русские города, выросшие на берегу Амура. Некоторые из них им удалось взять приступом, а затем сжечь и разрушить. Среди этих городов были Албазинский и ближайший к нему Кумарский. Часть оставшихся в живых казаков вынудили вернуться на Лену, остальные ушли к Нерчинску.
На амурских просторах воцарилось безлюдье, и лишь развалины поселений свидетельствовали о наличии когда-то здесь жизни.
Вот таким и увидели Амур Никифор Романович Черниговский и его товарищи, когда они в зиму с 1665 на 1666 год прибыли в эти края. Впрочем, уходить отсюда они не собирались, так как лучшего места для постройки крепости трудно было отыскать. Амур тут делал большую пологую излучину, прижимаясь главными водами к русскому берегу. Вдоль всей излучины стеной высился скалистый берег. На нижнем ее конце, где Амур плавно огибает скалистый выступ, и было решено возвести основные сооружения крепости. Отсюда река хорошо просматривалась во все стороны. Вовсе не случайно в свое время именно здесь люди Хабарова решили возводить свои фортеции.