С большим трудом землепроходец уговорил якутского воеводу предоставить ему возможность выплатить долг частями. Сошлись на том, что отныне Ерофей Павлович будет ежегодно посылать в Якутск в счет долга по 1000 пудов хлеба из своего хозяйства, а якутский воевода — беспрепятственно пропускать покрученников Хабарова на олекминский промысел и не посягать на добытых ими соболей. Но в обеспечение договора воевода потребовал от Хабарова поручительства надежных людей, которые бы согласились нести за него материальную ответственность. Таких людей Ерофей Павлович обещал найти в Илимске и упросил воеводу отпустить его туда. Воевода согласился, однако вместе с землепроходцем отправил в Илимск пристава, а также Федора Пущина с казаками. Последним был отдан строгий приказ в случае невыполнения Хабаровым обещания привезти его снова в Якутск, но уже как арестанта.
Ерофей Хабаров слово сдержал. В Якутск Федор Пущин вернулся с добрыми поручными записями о Хабарове и тяжело нагруженными хабаровским хлебом дощаниками.
Кто из родных и близких окружал в те годы Хабарова? Известно, что он был женат еще до поездки в Мангазею. Жена его, Василиса, с остальными родственниками жила то в Соли Вычегодской, то в Устюге Великом. В 1643–1644 гг., находясь в якутской тюрьме, Ерофей Павлович просил было отпустить его в Соль Вычегодскую к семье. В челобитной он перечислял жену Василису, дочь Наталью, племянника и племянницу, находившихся на его попечении. Ответ с разрешением главы Сибирского приказа Никиты Ивановича Одоевского пришел в Якутск в 1645 г. Но тогда Хабаров не поехал.
В 1650 г., вернувшись с Амура в Якутск за подкреплением, он написал челобитную с просьбой отпустить к нему из Устюга Великого жену Василису, дочь Наталью, внука и племянников. Это было время, когда Францбеков благоволил Хабарову, и землепроходец надеялся на его содействие в устройстве своей семьи либо в Якутске, либо на Киренге.
Челобитную Хабарову, заверенную воеводой Францбековым и дьяком Степановым, подал в Москве 27 января 1651 г. ленский (якутский) пятидесятник Иван Кожин. Тогда же из отписки Францбекова в Сибирском приказе стало известно о походе Хабарова и занятии им нескольких даурских городков. Не без учета этого факта Москва удовлетворила просьбу землепроходца. На обороте его челобитной появилась помета (резолюция), сделанная одним из подьячих Сибирского приказа: «Приказал боярин и князь Алексей Никитич Трубецкой послать память в Устюжскую Четь (приказ, ведавший Устюгом Великим. — Г. Л.), велел жену и сына (почему-то подьячий назвал дочь сыном), племянников и внука к нему отпустить и подводы до Сибири дать». Вероятно, пятидесятник Иван Кожин привез семью Хабарова в Якутск, захватив ее на обратном пути из Устюга Великого. В 1652 г. на Амуре, кроме уже находившихся там Никифора Хабарова и Артемия Петриловского, появились еще два «сродника» Ерофея Павловича.