Оправившись после этого покушения, Бараев заявил, что рвет все отношения с Масхадовым и уезжает в Урус-Мартан, неофициальный центр ваххабизма Чечни, для занятий религией и бизнесом. Там, вопреки громким обещаниям, он со своей бандой (состоявшей из бойцов его полка) продолжил заниматься похищениями. С началом второй чеченской кампании принимал активное участие в боевых действиях, командуя отрядом боевиков. Участвовал в боях за Грозный, однако, поняв их бесперспективность, ушел со своей группировкой в сторону родного села Алхан-Кала. В ночь с 19 на 20 июня 2000 года люди Бараева в селении Алхан-Кала убили старейшину религиозной общины «Кунта-Хаджи» Хож-Ахмед Мусаева. Создал мощную террористическую группу «Джихад-3» и «прославился» рядом крупных терактов. Исполнителем одного из очередных терактов стала двоюродная сестра Бараева Хава. Она стала первой чеченской женщиной-камикадзе. В июне 2000 года Хава въехала на начиненном взрывчаткой грузовике на базу российских омоновцев в Алхан-Юрте. От мощного взрыва, помимо самой женщины, погибли 17 военнослужащих, десятки были ранены. Серия террористических актов, устроенных в июне 2001 года по его приказу в Гудермесе, стали последними акциями Бараева.
19 июня 2001 года три вертолета сбросили десант на разных окраинах Алхан-Калы. Одновременно к селу подошла бронетехника, и к вечеру «вотчина» Бараева была плотно блокирована. В ходе операции поэтапно перекрывались все подходы к отдельным частям села. Задерживались все мужчины от 15 до 60 лет, которых отвозили на «Уралах» в комендатуру села и тщательно проверяли на предмет причастности к бандитам. Тем не менее Бараеву несколько дней удавалось уходить от спецназа. При этом прятался в разных домах в родном селе и вызывал по рации других полевых командиров, просил о помощи — никто не откликнулся. За все шесть дней зачистки в селе не прекращались перестрелки между отрядом Арби Бараева и федеральными подразделениями. В небе постоянно барражировали боевые вертолеты. Через три-четыре дня после начала операции «Терминатор» получил множественные ранения и контузию. Оказать медицинскую помощь ему не могли. Тогда нукеры поместили Бараева в укрытие, которое находилось в разрушенном ракетой доме. Раненого спрятали под грудой кирпича. Здесь его и обнаружили российские военные. К этому моменту бешеный пес был мертв. 25 июня министр обороны Сергей Иванов заявил, что «эта операция планировалась давно» и все силовые ведомства прекрасно сработали «в одном кулаке». Жители станицы Ермоловской не впустили автомобиль, который перевозил тело бандита. Они перекрыли въезд, объяснив свои действия тем, что Арби Бараев лично убил 50 своих односельчан и поэтому такому подонку, как он, не место на их земле. Бараев имел десятки «кровников», в том числе М. Сайдуллаева и Ш. Ларсанова, депутата парламента ЧРИ. Шестая жена Зура отправилась мстить за мужа и командовала женщинами-камикадзе во время захвата заложников в театральном центре в Москве.