Беженцы из сожженных татарами Чернигова, Новгорода-Северского, Глухова и многих других городков, сел и деревень расселились вдоль берега Десны, заняв под свои избы и огороды длинную полосу земли. А вокруг укрепленной княжеской усадьбы рос настоящий посад – ремесленный городок.
Управляющий брянским имением Ефим Добрыневич не только не препятствовал строительству изб вокруг крепостцы, но даже помогал жителям постепенно росшего городка: сплавлял по лету и осени вниз по реке из наиболее богатых лесом мест сосновые бревна, присылал плотников и печных мастеров для скорейшего благоустройства вновь прибывших.
Имея большой военный опыт и зная, как располагать оборону на случай возможной осады, Ефим решил расширить свою маленькую крепость. Сначала он огородил большую территорию, примыкавшую к деревянным стенам усадьбы, простым забором, чтобы беженцы не рубили изб близко к стенам крепости, ведь при пожаре стены могли сгореть и оголить княжескую усадьбу! Да и к тому же, чтобы воплотить в жизнь его план по созданию мощной оборонительной стены, нужно было время. Ефим Добрыневич хотел постепенно, год за годом, расширять крепость и усиливать толщиной стен ее боеспособность, поскольку средств и людей для решения этой задачи быстро, в один год, у него не было.
Большие работы велись и в самой усадьбе. Еще в прошлом году по просьбе отца Игнатия, настоятеля маленькой Покровской церкви, скорей напоминавшей часовенку, чем храм, в самом центре крепостцы заложили большую деревянную церковь, которую под Новый год – 1 марта – и освятили, назвав Покровской, а старую – разобрали, и на ее месте воздвигли княжеский терем. Управляющий Ефим не сомневался, что в скором времени в Брянск пожалует и сам великий князь.
На другой горе, расположенной к северу от укрепленной усадьбы, беженцы, которые уже успели справить новоселье в новых избах, занялись возведением еще одной деревянной церковки, поскольку Покровская церковь не могла вместить всех прихожан, а священников среди новых горожан было немало. Здесь строительные работы закончили только к зиме, и новый храм посвятили апостолам Петру и Павлу. Вскоре безымянные горы, на которых расположился Брянск, получили названия по воздвигнутым на них храмам. Когда горожане шли в крепость, они говорили, что идут на Покровскую гору, а когда отправлялись по делам в сторону новой церкви – на Петровскую.
Вдоль дороги, отделявшей поселения беженцев от княжеского детинца, расположился большой рынок. Довольно быстро здесь выросли купеческие лавки, торговые ряды, склады и сараи.