3 июля 1995 года президентом Ельциным был подписан оплаченный Дудаевым указ № 663 «О дислокации органов военного управления соединений, воинских частей, учреждений и организаций вооруженных сил Российской Федерации на территории Чеченской Республики». 7 июля Ельцин подписал второй указ – о порядке реализации указа № 663.
После Буденновска у кремлевских чиновников в списке нежелательных свидетелей, кроме Дудаева, появился еще один человек – Шамиль Басаев. Его решили убрать силами специально созданной для этого оперативно-боевой группы под руководством начальника 3-го (разведывательного) отдела Управления военной контрразведки ФСБ РФ генерал-майора Юрия Ивановича Яровенко.
Тогда же была создана оперативно-боевая группа под командованием Хохолькова (в Чечне он работал под псевдонимом Денисов) для устранения Дудаева. В нее входили капитан 1-го ранга Александр Камышников (будущий заместитель начальника УРПО) и ряд других офицеров. Дислоцировалась группа на военной базе в Ханкале. В команду были введены сотрудники чеченской национальности, например Умар Паша. После ликвидации Дудаева он был переведен с повышением в Москву.
В операции использовалась авиация ГРУ, располагавшая двумя самолетами для наведения ракет по маяку в радиотелефоне; и Дудаеву сумели поменять обычный телефон на телефон с маяком.
22 апреля 1996 года Дудаев с женой Аллой и несколькими сопровождающими выехал из селения Гехи-Чу Урус-Мартанского района на западе Чечни, где они провели ночь, в лес. Для разговоров по телефону он выезжал из селений, так как вдали от населенных пунктов его труднее было запеленговать. Сплошного леса в том районе не было – кустарник и отдельные деревья. Алла Дудаева стала готовить еду. Мужчины стояли в стороне. Дудаев запрещал подходить к нему во время разговоров по телефону, так как ранее был случай, когда во время телефонной связи по нему был нанесен авиаудар. Ракета в цель не попала.
В тот день Дудаев говорил по телефону дольше обычного, как выяснилось – с известным российским бизнесменом и политиком Константином Натановичем Боровым, который поддерживал с Дудаевым связь до тех пор, пока она не прервалась. Управляемая ракета российского штурмовика Су-24, наведенная на сигнал спутникового телефона Дудаева, разорвалась совсем близко. Дудаеву обожгло лицо, оно было желто-оранжевого цвета. Подъехала машина. Президента Чечни посадили на заднее сиденье, рядом с ним села жена. Дудаев был без сознания. С правой стороны за ухом у него была рана. Не приходя в сознание, он умер.
Похороны Государственный комитет обороны Чечни поручил Лече Дудаеву, племяннику чеченского президента. О месте захоронения Дудаева должен был знать узкий круг лиц, в том числе Зелимхан Яндарбиев, избранный после гибели Дудаева председателем ГКО и исполнявший обязанности президента Чеченской республики до выборов 1997 года. Согласно чеченским источникам, после того как в мае 1996 года в аэропорту города Нальчика были задержаны вдова чеченского президента Алла Дудаева и личный телохранитель Дудаева Муса Идигов, останки чеченского президента срочно перезахоронили. После гибели во вторую чеченскую войну Лечи Дудаева о новом месте захоронения Джохара Дудаева не знает ни один официальный источник.