Несмотря на значительное и всевозрастающее влияние «иностранных» религий, к концу VI века на Аравийском полуострове все еще превалировало местное язычество.
Арабы поклонялись звездам и камням-идолам. Здесь все было довольно однообразно: в Каабе (святилище кубической формы) южноаравийского города Гайман почиталось божество в виде «красного камня», в Каабе ал-Абалата находился «белый камень», в Каабе Мекки — «черный камень». Каабы этих городов одинаковы и по форме, и по вложенному в них содержанию.
Об этом почитании мы поговорим подробнее на примере святилища в Мекке. В Каабе Мекки находилось около 360 идолов. В восточный угол здания был вмурован «черный камень» — оплавленный метеорит. В центре помещался идол божества Хубала. По соседству с Каабой находились два небольших холма — ас-Сафа и ал-Марва. На первом располагался идол Исаф, на втором — Наила. Арабские язычники во время паломничества дотрагивались до этих фигур.
Местные боги, по-видимому, не были объединены в единый общий пантеон. У каждого племени был свой почитаемый бог-покровитель.
В числе арабских божеств, почитаемых язычниками, был и Аллах. Это название произошло от слова ал-илах, то есть, слова «бог» с определенным артиклем. Согласно упоминаниям Корана, арабы-язычники к помощи Аллаха прибегали преимущественно на море. Ряд почитаемых богинь — ал-Лат (форма женского рода от Аллах), ал-Узза («Великая») и Манат («Время»), считались «дочерьми Аллаха». Отец самого Мухаммеда носил имя Абдаллах, то есть «раб Аллаха».
Большую роль в религиозных представлениях арабов играли джинны и шайтаны, которые представлялись посредниками между миром людей и миром богов. Эти духи, добрые или злые, по воле божеств внушали людям мысли и поступки. Считалось, что обычных людей они посещают время от времени, но есть люди, через которых они вещают остальным, — это аррафы («провидцы») и кахины («прорицатели»), они предсказывают будущее, ищут пропавшее, угадывают скрытое. В каждом племени был свой арраф или кахин. Поэты также считались вдохновленными из этого мира духов, промежуточного между людьми и богами.
В IV-V вв. в Южной Аравии значительно распространился иудаизм. Царь Кариб принял иудаизм, его сын и преемник, иудейский царь Зу Нувас, подверг арабских христиан жестоким гонениям. Захватив обманом христианский г. Нарджан, он приказал выкопать рвы и залить их горючим веществом. Всех, кто отказывался принять иудаизм, бросали живьем в эти рвы. Память этих святых (св. Арефы и с ним 4299 мучеников) Православная Церковь совершает 24 октября/6 ноября.