Вместе с тем, несмотря на большие права Хабарова, его войско, состоящее на 2/3 из добровольцев — вольных охочих амурских казаков, сохранило казацкое самоуправление. Войско контролировало действия Хабарова как представителя официальной власти в Даурии, и он не мог, не посоветовавшись с казачьим кругом, самостоятельно решать вопросы, касающиеся всех. Бывали случаи, когда войско вмешивалось в распоряжения Хабарова. Например, оно отвергло его предложение о поселении 20 покрученников на реке Урке и организации их силами пашни, сочтя нужным послать хлеб, предназначенный для этого поселения, к Тугирскому волоку, куда должен был подойти с подкреплением из Якутска Третьяк Чечигин. Все пленные и имущество, захваченные в ходе военных действий, считались собственностью войска, и оно их продавало всем без исключения, даже Хабарову[51].
Постепенно отношения Хабарова с частью войска стали ухудшаться. Ведь для некоторых Хабаров был не только начальником, но и хозяином. Ерофей Павлович многих из охочих казаков, ссудил для подъема в Даурию деньгами, хлебом, снаряжением, одеждой, оружием, порохом, свинцом. Он активно вмешивался в их промысловую деятельность, постоянно забирал по кабалам 2/3 добытой ими пушнины в свою пользу. Отношения с покрученниками становились все напряженнее. Государственная служба занимала много времени, свободного времени для собственного промысла оставалось мало. Получалось так, что многие из покрученников не могли своевременно расплачиваться с Хабаровым, а он, в свою очередь, оставался должным Францбекову. Францбеков грозил правежом. Мало того, он отправил из Якутска с отрядом Чечигина «своего человека» Ананью Урусланова, который прямо в войске взыскивал и с Хабарова, и с других должников в пользу Францбекова мягкую рухлядь. Наконец, Францбеков отдал свою кабалу в 2100 руб. окольничему Прокофию Соковнину, которому был должен эту сумму. Иск он переписал на Никифора и Ерофея Хабаровых. Теперь оба брата должны были расплачиваться еще и с Соковниным. Последний не соглашался на отсрочку долга и через Сибирский приказ направил свой иск в Якутск, оттуда 30 июня 1652 г. на Амур был послан служилый человек Никита Прокофьев со строгим предписанием собрать за братьев Хабаровых, как за преступников, «крепкие поручные записи», с Ерофея начинать править долг, «как минется Даурская служба», а Никифора доставить в Якутск под охраной немедленно.
Связанный по рукам и ногам кабальными записями, Хабаров все чаще упрекал товарищей в неуплате ему долгов за то казенное имущество, которое он получил в счет ссуды: «Мне платить в казну государю. Вы что ли за меня ему платить будете?» Иногда, в минуты раздражения, он грозил некоторым из своих должников тем, что за всякий пуд ссужаемого им хлеба заставит их платить по 10 руб., т. е. сумму неслыханную по тем временам.