Kabe’nin yapılışı hakkındaki rivayetlere göre, Hz. Adem ile Havva (aleyhisselâm) cennetten çıkarıldıkları vakit yeryüzünde Arafat’ta buluşurlar, beraberce batıya doğru yürürler. Kabe’nin bulunduğu yere gelirler. Bu esnada Hz. Adem (aleyhisselâm), bu buluşmaya şükür olmak üzere Rabbine ibadet etmek ister ve cennette iken, etrafında tavaf ederek ibadet ettiği nurdan sütunun tekrar kendisine verilmesini diler. İşte o nurdan sütun orada tecelli eder ve Hz. Adem (aleyhisselâm), onun etrafında tavaf ederek Allah’a ibadet eder.
Bu nurdan sütun Hz. Şit (aleyhisselâm) zamanında kaybolur, yerine bir taş kalır. Bunun üzerine Hz. Şit (aleyhisselâm), onun yerine taştan onun gibi dört köşe bir bina yapar ve o siyah taşı binanın bir köşesine yerleştirir. İşte bugün Hacer-ül Esved diye bilinen siyah taş odur. Sonra Nuh tufanında bina kumlar altında uzunca bir süre gizli kalır.
Hz. İbrahim (aleyhisselâm), Allah’ın emri ile Kabe’nin bulunduğu yere gider.
Oğlu İsmail, annesi ile birlikte orada iskan eder. Sonra İsmail ile beraber Kabe’nin yerini kazar. Hz. Şit (aleyhisselâm) tarafından yapılan binanın temellerini bulur ve o temellerin üzerine bugün mevcut olan Kabe’yi inşa eder. Ayette “Beytullah’ın temellerini yükseltiyor” cümlesi bunu ifade eder.
Birkaç kez sel baskını gibi doğal felaketlerden zarar gören Kâbe, birtakım saldırılara da maruz kalmıştır. Sonuç olarak birkaç kez zarar görmüş ve onarılmıştır. Birçok tarihçi Kâbe’nin yaklaşık on iki kez yeniden inşa edildiğini iddia etmektedir. En son onarım, felaketlere karşı güçlendirmek için 1996 yılında o zamanın son teknolojisi kullanılarak gerçekleştirilmiştir.