Kubbet-üs Sahra, MÖ 1. yüzyılda Yahudi Kralı Hirodes döneminde büyük ölçüde genişletilen Süleyman Tapınağı ve İkinci Yahudi Tapınağı’nın bulunduğu Tapınak Dağı’nın merkezinde yer almaktadır. Herodes Tapınağı MS 70 yılında Romalılar tarafından yıkılmıştır.
Emevi Halifesi Abdülmelik’in emriyle MS 692’de inşa edilmiştir. Hz. Muhammed’in 632’de ölümü ile Kubbet-üs Sahra’nın tamamlandığı 692 yılları arasında, Arabistan’da ve Kudüs çevresindeki kutsal topraklarda aralıklı savaşlar yaşanmıştır. Arap yarımadasından çıkan ilk Arap orduları, inşa etmeye değil fethetmeye ve imparatorluk kurmaya odaklanmışlardır. Bu yüzden Kubbet-üs Sahra inşa edilen ilk İslami yapılardan biridir. Emevi halifesi Abdülmelik tarafından, İbn Zübeyr’e karşı bir iç savaş sırasında destekçileri için dini bir odak noktası olması düşüncesiyle inşa edilmiştir.
Kubbet-üs Sahra, günümüzde Mescid-i Aksa, medreseler ve diğer birçok dini yapıya ev sahipliği yapan muazzam bir açık hava platformu olan Harem-i Şerif’te yer almaktadır. Harem-i Şerif, Hristiyanlar, Yahudiler ve Müslümanlar için son derece kutsal bir yerdir.