В 70-х годах XIV в. Брестское Побужье, включая и Каменец, становится объектом нападений рыцарей-крестоносцев. Впервые они появились здесь в 1373 г., разорив всю Каменецкую землю. В июне 1375 г. рыцари, возглавляемые комтуром из Бальги Теодором фон Эльнером, осадили соседний замок Бельск, а затем после грабежей через труднопроходимую Беловежскую пущу вторглись на Каменетчину, которую также разорили. Тот же Теодор фон Эльнер возглавил третий поход на Брестчину в начале августа 1379 г. Многочисленное войско осадило замок Мельник, а затем опустошило Каменецкую землю. Следует подчеркнуть, что источники того времени ни разу не упомянули об удачной осаде Каменецкого замка. Вероятно, конным рыцарям, с трудом пробивавшимся через непроходимые окрестные пущи, было не под силу взять без осадных орудий укрепления, подобные Каменцу.
В 1382 г. город был захвачен внезапным нападением войск польского князя Януша Мазовецкого. Лишь один год смет князь удержать Каменец в своих руках, а затем, после 7-дневной осады, им овладел литовский князь Ягайло.
В период затяжной междоусобицы с Витовтом Ягайлу в 1390 г. снова пришлось осаждать город, который он взял «з великою трудностью» после энергичной осады.
Стоявший на перекрестке торговых путей, Каменец был важным стратегическим пунктом, укрепления его долгое время находились в постоянной готовности. Причиной тому были и походы крестоносцев, и близость к польскому порубежью, а позднее, в XVI в., — и угроза нападений крымских татар. Известно, что в 1500 г. 15-тысячная конница сыновей хана Менгли-Гирея «воевала Каменец-Литовский». Впрочем, видимо, безуспешно, так как осаждать каменные укрепления татары не умели. Проезжавший в 1517 г. через город известный дипломат и историк С. Герберштейн отмечал в своих путевых заметках: «Каменец — город с каменной башней в деревянном замке».
Во время русско-польской войны середины XVII в. город и его укрепления были разрушены. Однако в 1771 г. город снова уже состоял из «места» и замка. Еще в начале XIX в. вокруг Каменецкой башни существовали остатки средневековых укреплений замка с земляным валом, окруженным с трех сторон оборонительным рвом, а с четвертой — защищенным рекой.
В 1903 г. над первым и вторым ярусами башни разобрали поздние своды, сооруженные между 1827 и 1889 гг. Тогда же от башни отбросили 3-метровый пласт культурного слоя и насыпали вокруг нее кольцеобразный вал, облицованный камнем. В валу для дренажа сделали три скрытых канала. Теперь Каменецкая башня приспособлена под филиал Брестского областного краеведческого музея и стала местом многочисленных экскурсий туристов Белоруссии, Прибалтики и отдаленных городов страны.