Так называемый Старый город, включающий каменные ограды обоих монастырей XVI века, заменившие древние деревянные стены, возник в эпоху интенсивного сооружения Русским государством крепостей для обороны своих границ. Он имел форму неправильного многоугольника, вытянутого вдоль берега Сиверского озера. В планировке его отчетливо видны характерные для русского крепостного зодчества XVI века черты регулярности, соотнесенные, как всегда, с рельефом местности. Так, ограда Большого монастыря по форме напоминает трапецию, слегка изогнутое основание которой следует по береговой линии озера, повторяя ее очертания. В свою очередь ограда Малого близка к прямоугольнику, тоже с чуть-чуть изломанными длинными сторонами, вписанному в окружающий ландшафт (илл. 62).
Общая протяженность стен Старого города, достигавшая 1100 м, для своего времени была значительной. На углах, как и подобало крепостям, возвышались восемь различной формы башен: шесть прямоугольных, одна многогранная и одна круглая. Почти посередине длинных сторон оград обоих монастырей (за исключением стены Малого, обращенной к озеру) располагались проезжие ворота. У Большого монастыря кроме основных ворот — Святых и Водяных — были еще небольшие ворота хозяйственного назначения на боковых сторонах.
Большой Успенский монастырь отличался своей мощью (высота стен около 5,5 м, толщина — 1,8 м, у Ивановского соответственно — 4 м с небольшим и менее 1 м). Крепостное устройство его являлось традиционным для того времени. Основная часть стен была снабжена одним верхним ярусом боя с прямоугольными бойницами. Изнутри вдоль них шел местами боевой ход — крытая тесом галерея на арках. Особенно сильно была укреплена стена, выходившая к берегу озера. Кроме верхних бойниц с ходом она имела «подошвенный» бой, частично заметный и сейчас на отдельных ее участках. С внутренней стороны он представлял собой двойные арочные ниши-печуры с круглыми бойницами для стрельбы и оригинальными смотровыми отверстиями в виде креста над ними, форма которых была призвана «уберечь» защитников крепости от поражения.
Оборонную мощь стен усиливали на углах многоярусные (преимущественно четырехъярусные) башни с большим количеством бойниц, завершенные прежде высокими деревянными шатрами. Грановитая башня замыкала северный угол стен Большого монастыря. На восточном углу располагалась Круглая, или Мельничная, башня. Обе они не дошли до нашего времени: от Грановитой осталась лишь небольшая часть, а от Круглой, стоявшей за речкой Свиягой, возле водяной мельницы, только фундаменты.