До конца 1990 года АИАИ оставалось просветительской организацией, но после падения Сиада Барре ситуация изменилась. Ее членами стали несколько сомалийских ветеранов афганской войны. Группа начала призывать к вооруженному джихаду, с целью создания в Сомали исламского государства.
Гражданская война, начавшаяся как восстание против режима Сиада Барре, быстро переросла в межклановую резню. Главная победившая группировка — Объединенный сомалийский конгресс (ОСК) представляла клановый союз хавийя. Его боевики в Могадишо развернули репрессии против кланов дарод, так как именно представители этих кланов составляли «ближний круг» Сиада Барре.
В АИАИ же большинство составляли представители клана маджертин/дарод, и потому им пришлось оставить Могадишо и отступить в южном направлении. В 60 км от порта Кисмайо, в районе стратегического моста Арар в апреле 1991 года произошел бой между милицией «Аль Итихад» и войсками ОСК под командованием генерала Мохаммеда Фараха Айдида.
Эта битва стала поворотным моментом в истории движения. Перед сражением генерала Айдид прислал в лагерь АИАИ парламентеров во главе со своим первым заместителем полковником Хасаном Дахиром Авейсом с предложением к исламистам отступить. В руководстве АИАИ на этот счет не было единого мнения. Но в ходе переговоров полковник Авейс неожиданно решил перейти на сторону АИАИ, отправив остальную делегацию назад. Это воодушевило бойцов АИАИ на сопротивление. И хотя в последовавшем сражении они все же были разгромлены Айдидом, для военного крыла АИАИ приход полковника Авейса стал крупной политической победой. С его приходом большинство членов организации решили выбрать путь вооруженного джихада, а сам полковник Авейс стал бессменным военным лидером АИАИ.
После разгрома на мосту Арар большая часть членов АИАИ осела на территории Пунтленда, которую контролирует Демократический фронт спасения Сомали, представляющий интересы клана маджертин/дарод. Здесь они впервые попытались создать исламский эмират. Конец этому начинанию положил лидер ДФСС Абдуллахи Юсуф Ахмед — непримиримый враг исламистов и нынешний президент Сомали.
В течение лета 1992 года шли ожесточенные бои. В итоге разгромленные исламисты ушли в район небольшого порта Лас Корей на спорной территории между Пунтлендом и Сомалилендом, но и там не смогли закрепиться. Наиболее стойкие сторонники джихада отправились на юг, к эфиопской границе, и обосновались в регионе Гедо, где еще раз попытались воплотить свою мечту в жизнь.
Здесь «Аль Итихад аль Исламия» сумело создать исламскую администрацию, которая в течение четырех лет демонстрировала остальному югу Сомали пример безопасной, но жестко управляемой территории. Наказания за преступления проводились публично, в том числе ампутации рук. Употребление местного легкого наркотика