С позволения Всевышнего, как говорится в легендах, Адам возвел храм, наподобие того, какой был в раю. Храм этот не сохранился; но на его месте сын Адама, Сет, построил Каабу, смытую впоследствии Великим потопом во времена пророка Нуха (Ноя).
Восстановили священную постройку пророк Ибрахим (Авраам) и его сын Исмаил, прародитель североаравийских арабов. При строительстве нового храмового сооружения Исмаилу и его отцу Аврааму, в то время гостившему у него, понадобился заметный камень, чтобы обозначить им место, с которого следовало бы начинать семикратное ритуальное обхождение вокруг Каабы, как это делали в раю ангелы и Адам. Тут-то архангел Джабраил (Гавриил), наставник всех пророков, и отыскал священный камень Адама под слоем оставшейся после Великого потопа тины и доставил его Исмаилу. Первоначально камень был якобы «ослепительной белизны», но со временем почернел — из-за грехов людей. Имел неземное происхождение. Еще во времена Адама упал будто бы с небес. По одной из легенд, им был ангел-хранитель Адама, обращенный в камень после того, как допустил грехопадение Адама. Камень этот со временем треснул, и его пришлось скрепить серебряным обручем. Это храмовое сооружение символизирует собой небесную Каабу вокруг которой совершают таваф (обряд обхода) ангелы.
Кааба — неприкосновенная святыня «Острова арабов». Ее почитали и вторгавшиеся в Аравию известные цари-воители прошлого, и предводители влиятельных племенных союзов Древней Аравии. Могущественный йеменский царь Асад Абу Кариб, живший за 700 лет до Пророка Мухаммеда, и неоднократно совершивший кровавые набеги на племена, обитавшие в районе Каабы, само святилище ни разу не тронул. Напротив, впервые облачил Каабу в суконное покрывало (кисву). Более того, установил охрану святилища, вверив ее одному из проживавших там племен. Истории известны лишь несколько случаев посягательства на Каабу: в III веке над Каабой надругались обитавшие в районе Мекки джурхумиты; в 683 г. — сирийская армия; и в Х веке — воинственные карматы.
Кааба — уникальное храмовое сооружение. Оно строилось и восстанавливалось пророками Адамом, Авраамом, Исмаилом и Мухаммедом (мир им всем). Такой чести не удостаивалось ни одно другое из всех великих храмовых сооружений в мире.
Джурхумиты, приютившие у себя Исмаила, прародителя североаравийских арабов, были вытеснены из Мекки южноаравийским племенем бану хузаа. Покидая Мекку, они разрушили Каабу и засыпали источник Замзам. Восстановили Каабу хузаиты. Племя ху-заитов, контролировавшее Мекку и оберегавшее Каабу, было впоследствии выдавлено из Мекки курайшитами (440-450 гг.).