23 июля 2001 года представитель центра общественных связей ФСБ России И. Шабалкин заявил, что зарубежная организация «Братья мусульмане», финансирующая создание в Чечне так называемого Арабского исламского государства, приняла решение о «списании» Хат-таба. Основной причиной этого явились его финансовые злоупотребления: из последней партии в 250 тысяч долларов, переправленной из-за рубежа, 170 тысяч Хаттаб присвоил.
Первая информация о ликвидации Хаттаба появилась в прессе 11 апреля 2002 года. «Об этом можно говорить с большой долей уверенности, поскольку в последние два месяца Хаттаб никак себя не проявлял: он не выходил на связь, действия боевиков в районе, контролируемом Хаттабом, не скоординированы. Вероятность его гибели под — также данными наших осведомителей», — заявил тогда журналистам на условиях анонимности один из сотрудников ФСБ, принимавший участие в специальной операции. По его словам, для выполнения поставленной задачи был задействован «агент из числа арабов, воюющих в Чечне, ранее завербованный спецслужбой одного из государств СНГ».
После того как в 2000 году федеральные силы сломили организованное сопротивление в Чечне, Хаттаб оказался главным организатором террора и распорядителем финансовых средств, поступающих из-за рубежа. Еще какое-то время он, видимо, питал надежды, что ситуацию удастся переломить, развязав против России полномасштабную партизанскую войну. Но времена уже были не те. Несмотря на отдельные промахи, российские военные многому научились. В Кремле был Путин, а потому передышек, как в первую кампанию, бандитам никто уже не давал. После того как руководство операцией на Северном Кавказе перешло в руки ФСБ, в Чечне началась плановая охота за организаторами террора. Былая разобщенность, когда силовые ведомства наносили удары вразнобой, неся при этом неоправданные потери, сменилась совместными действиями. Большую работу проделал спецназ. Стала действовать агентурная сеть. За полтора года были ликвидированы десятки банд террористов, уничтожены многие полевые командиры.
На очереди был Хаттаб. Ему дышали буквально в затылок, идя по следу, и он это чувствовал, а потому предпринимал особые меры безопасности. По нескольку раз на день менял места дислокации, никогда дважды не ночевал в одном месте. Держал рацию только в режиме приема, стараясь как можно меньше выходить в эфир. Опасаясь измены, Хаттаб оставил вокруг себя 5–6 человек — людей, которым он особо доверял, и только с ними перемещался по территории Чечни. Чтобы сбить с толку преследователей, Хаттаб запустил Дезинформацию о своем желании на 2–3 года покинуть территорию Чечни, чтобы помочь правоверным в борьбе Хаттаб успокоился навсегда с американцами в Афганистане. Как он заявил, «другие командиры ничего не стоят, пусть отсиживаются в горах и ждут моего возвращения и денег». Поражение талибов, нанесенное им силами Северного альянса при поддержке США, сильно повлияло на эмоциональное состояние Черного араба. Хаттаб сообщил своим боевикам: во сне к нему явился Аллах и известил: «Твоя миссия в Чечне закончена». Это сообщение «случайно» попало в прессу и широко ею тиражировалось. Реально за этим скрывалось осознание Хат-табом своего поражения, а также большое желание поскорее унести ноги, бросив под благовидным предлогом местных последователей. Черный араб не стал шахидом (мучеником за веру) — он погиб в апреле 2002 года в результате разборки из-за денег между террористами (что само по себе весьма знаменательно), которую инициировали сотрудники ФСБ.