В XIV веке рыцари Тевтонского ордена устремились на восток, чтобы захватить восточнославянские земли и покорить жившие на них народы. Они захватили Пруссию и часть Великого княжества Литовского, а в 1379 году сожгли и разграбили Брест, однако крепость им взять не удалось. В 1500 году город пострадал от набега крымского хана Менгли-Гирея, но потом снова был построен и даже расширен. В 1554 году Брест получил свой герб, на красном поле которого изображалась каменная башня.
Основу городу составлял замок, стены которого с пятью сторожевыми башнями возвышались над водами Мухавца и Западного Буга. Внутри замка располагались здания городского самоуправления, церковь, монастырь, рынок и дома зажиточных горожан. За стенами замка начинались предместья, где жили мелкие ремесленники, мещане и городская беднота.
Тяжелые испытания выпали на долю Бреста и во время войны России с Речью Посполитой. В 1657 году войска шведского короля Карла X, воспользовавшегося этой войной, захватили Брестский замок и опустошили город. Еще раз шведская армия, на этот раз короля Карла XII, захватила и разграбила город в 1706 году — во время Северной войны.
Когда в 1795 году Брест и прилегающие к нему земли вошли в состав России, военно-стратегическое значение города возросло еще больше, и встал вопрос о превращении его в неприсгупный форпост государства. В 1796 году генерал-инженер войск русской армии К И Опперман разработал инструкцию «Для обозрения новой границы с Пруссией и Австрией» и план к ней, по которому предполагалось возвести 9 мощных крепостей первой линии в их числе была и крепость Брест-Литовск. Вскоре был составлен ряд проектов по возведению этих крепостей, однако нашествие армий Наполеона надолго отодвинуло реализацию этих планов. К вопросу об укреплении Бреста вернулись только в 1829 году.
В 1830 году были образованы Строительный комитет во главе с Малецким и инженерная команда под руководством капитана Вильмана. При возведении крепостных сооружений было решено многие городские здания перенести на новые места, но еще в период подготовки к строительству вспыхнул пожар, уничтоживший более 500 домов. Это стихийное бедствие ускорило расчистку территории, на которой должны были возводиться будущие крепости.
В торжественной обстановке, 1 июня 1836 года, заложили первый камень будущей крепости, в основание которой замуровали доску и шкатулку с монетами[59] За несколько лет тысячи русских солдат и крестьян, направленных сюда правительством, проделали огромную работу: вручную перекопали и перенесли сотни тысяч кубометров земли, насыпали огромные земляные валы и прорыли каналы.