Большая часть армии Али, и особенно хариджиты, которые в тот момент были ему преданы, умоляли его проигнорировать этот жест и продолжать сражение до тех пор, пока повстанцы не будут наказаны за свое неповиновение. Но хотя Али чувствовал, что со стороны Муавии уготовано предательство, он отказался оставить без внимания заповедь Господа: «Если они [враги] удержатся, то нет вражды, кроме как к неправедным» (2:193). Приказав своей армии сложить оружие, Али принял капитуляцию Муавии и призвал хакама разрешить спор между ними.
Это был фатальный шаг. Суд, последовавший за Сиффинской битвой, постановил признать убийство Усмана несправедливым и достойным возмездия. Это решение, казалось, оправдывало восстание Муавии. Однако гораздо более роковым стал тот факт, что хариджиты посчитали решение Али подчиниться арбитражу, а не назначить Божий суд над мятежниками серьезным грехом, карающимся исключением из святой общины. Рассерженные хариджиты бросили Али на поле боя еще до начала арбитража под крики: «Нет суда, кроме Божьего!»
Али вряд ли успел осознать последствия такого решения суда. После Сиффина он с большой неохотой был вынужден отправить армию, чтобы разобраться с хариджитами, которые отделились от его партии. Не успел он подчинить хариджитов (что произошло вследствие скорее не битвы, а бойни), как ему вновь пришлось обратить внимание на Муавию, который во время длительного судебного процесса смог мобилизовать военные силы, захватить Египет и в 600 г. объявить себя халифом Иерусалима. Когда войска Али разбежались, а его сторонники разделились на идеологические направления, он мобилизовал оставшиеся силы и в следующем году подготовил заключительную кампанию против Муавии и его сирийских повстанцев.
Утром накануне кампании Али вошел в мечеть в Куфе, чтобы помолиться. Там его встретил Абдуррахман ибн Мулджам, хариджит, который пробивал себе дорогу через толпу в мечети, крича: «Суд принадлежит Богу, Али, а не тебе!»
Выхватив отравленный меч, ибн Мулджам нанес удар по голове Али. Это была поверхностная рана, но яд сделал свое дело. Через два дня Али скончался, а вместе с ним и мечта Бану Хашим объединить святую общину Бога под знаменем семьи Пророка.
В проповеди, которую Али произнес за несколько лет до того, как его убили, он отметил, что «добродетельный человек признается таковым по тем благим поступкам, которые говорят за него, и по тем похвалам, которые Бог предназначает ему получать от других». Это были пророческие слова, поскольку Али мог умереть, но не мог оказаться забытым. Для миллионов шиитов по всему миру Али остается образцом мусульманского благочестия, он – свет, который освещает прямой путь к Богу. Он, по словам Али Шариати, «лучший в речи… лучший в поклонении… лучший в вере».