Жена Ерофея Павловича, Василиса, умерла до 1667 г. — именно в этом году он наказывал старцам Усть-Киренского монастыря ее поминать. Старшая дочь Наталья в Сибирь приехала уже будучи замужем и имея детей. Один из сыновей Ерофея Хабарова, Андрей, после смерти отца числился илимским посадским человеком. В 1690 г. он за службу отца был поверстан в дети боярские по Илимску. В этом чине он служил до 1694 г., когда был вновь возвращен в посад. Но судьба Андрея прослеживается и дальше. Нам удалось восстановить, что, переехав в Якутск, он поступил в казачью службу. В 1706 г. он числился рядовым казаком с окладом 5 руб. 25 коп. денег, 4 четверти ржи, 2 четверти овса, 1 пуд соли в год. В якутском же гарнизоне продолжал службу сын Андрея, внук Ерофея Павловича Хабарова, Михаил Хабаров. В росписном списке Якутска 1759 г. он упоминался как сотник якутских казаков. Но у Ерофея Павловича был еще сын — Максим. Его имя встречается в 1706 г. в обнаруженной В. Н. Шерстобоевым поручной записи: «1706-го году майя в 22 день Криволучкой слободы пашенный крестьянин Василий Яковлев сын Кулебакин да Нижно-Киренской слободы пашенный крестьянин Максим Ярофеев сын Хабаров да Верхно-Киренской слободы пашенный крестьянин Фирс Иванов сын Москвитин поручились есми в Усть-Киренскую в судную избу по Нижно-Киренских пашенных крестьян по Флоре Иванове сыне Москвитине да по Игнатье Максимове сыне Киселеве, что за нашею порукою им, Флору и Игнатью, на Балаханском лугу пахать великого государя десятинную пашню…». Таким образом, второй сын Ерофея Павловича Хабарова был в начале XVIII в. пашенным крестьянином Нижне-Киренской слободы, расположенной недалеко от деревни Хабаровки.
В 1667 г. дети Хабарова уже не жили с ним, так как к этому времени он их отделил. Почему Ерофей Павлович поторопился это сделать? Хабаров был должником государевой казны. Если бы дети наследовали его деревню, они наследовали бы и его долг.
Похоронив жену, отделив детей, Ерофей Павлович стал реже бывать в деревне и, вероятно, сократил даже площадь своих посевов. Это послужило поводом для посягательств на его земли. Дело в том, что с момента основания Хабаровки (40-е гг. XVII в.) и до середины 60-х гг. реку Киренгу основательно заселили. У Хабарова появились соседи: крестьяне, служилые люди, а в 1663 г. — Усть-Киренский монастырь, основанный старцем Гермогеном. Теперь фонд свободной пашенной земли сократился и, как часто бывало в таких случаях, начались земельные споры. Один из соседей — пашенный крестьянин Кузьма Воронин в отсутствие Хабарова распахал и засеял его «порозжее поле». Когда Ерофей Павлович узнал о случившемся, он написал обстоятельную жалобу илимскому воеводе, отметив, что Кузька Воронин насеял свою рожь чуть ли не у него во дворе, чем его «утеснил». В доказательство своих слов о нарушении межи Хабаров приложил «даную», составленную межевщиками еще в 1650 г. Ответчик таких документов не имел, и Ерофей Павлович выиграл процесс, получив насеянную на его земле рожь