Происхождение меча окутано легендами. Рассказывают, например, что он принадлежал первому человеку — Адаму, который принес его на землю после изгнания из рая. Согласно наиболее распространенной версии, меч достался пророку Мухаммеду в качестве трофея после сражения у колодцев Бадр в 624 году, а до этого он принадлежал одному из вождей племени куреишитов. В руках пророка оружие приобрело магическую, сокрушительную силу.
По преданию, Мухаммед передал (по другой версии, завещал) Зульфикар своему зятю Али, великому воину. Большинство источников сходятся в том, что это произошло во время исторической битвы при горе Ухуд, произошедшей 23 марта 625 года. Одна из легенд утверждает, что меч для Али принес с небес сам архангел Гавриил (Джибрил) после того, как в жестокой сече тот уже сломал девять мечей. С Зульфикаром в руке Али бросился на вражеского предводителя Амра ибд Абдауда, сила которого превосходила силу тысячи воинов. Никто не отваживался сойтись с ним в единоборстве. Однако для Али не было препятствий. Одним ударом волшебного меча он разрубил пополам щит противника, разбил его шлем и поверг силача на землю. Видя это, пророк Мухаммед восхищенно воскликнул: «Нет героя кроме Али, нет меча кроме Зульфикара!» В последующие века этот девиз стал боевым кличем мусульманских армий, оружейники вы-гравировывали его на клинках мечей.
В руке Али Зульфикар стал самым известным мечом в истории ислама. По преданию, этот меч имел два лезвия и обладал волшебными свойствами: например, им невозможно было убить невинного человека. Коэда Али не сражался, он оставлял Зульфикар висеть в воздухе, просто подбрасывая его, а в случае нужды меч чудесным образом оказывался у него в руке. Считалось, что Зульфикар защищает границы мусульманского мира от врагов. Однако, как гласит известная в Средней Азии легенда, этот меч ломался, если умерший где-либо мусульманин не был похоронен. Захоронение следовало произвести как можно быстрее — для того чтобы обломки Зульфикара срослись и он снова встал на стражу границ.
Сын Али, имам аль-Хусейн ибн Али, с Зульфикаром в руках сражался против омейядского халифа Язида ибн Муавия в битве при Кербеле (Ирак) в октябре 680 года. Память об этом сражении до сих пор жива среди мусульман-шиитов. Войска Язида окружили небольшой отряд Хусейна, численность которого не превышала 300 человек. Получив несколько ран, Хусейн пал на поле битвы, почти все его люди были уничтожены. Время не смягчило горестных воспоминаний об этом событии. Шииты до сих пор переживают трагедию в Кербеле так, как будто она произошла только вчера. «Пей воду и проклинай Язида» — такую надпись можно увидеть в Кербеле на огромных кувшинах, выставленных на улице для страдающих от жажды прохожих. Считается, что само название «Кербела» происходит от выражения «карб аль-илаха» («рядом с богами») или от «аль-курб ва аль-бала» («скорбь и беда»). А меч Зульфикар после этих событий стал восприниматься как символ чести и мученичества.