Die Al-Aqsa-Moschee wurde von dem muslimischen Kalifen Al-Walid 20 Jahre nach der Errichtung des Felsendoms erbaut, im Jahr 711, auf der anderen Seite des Plateaus des Tempelbergs. Damit sollte der Ort, an dem Mohammed in den Himmel auffuhr, eine besondere irdische Verbindung erhalten. Al-Aqsa bedeutet "entfernteste Punkt", und bezieht sich auf die wundersame Nacht, in der Mohammed auf seinem geflügelten Pferd Al-Buraq in den Himmel aufstieg, von Mekka nach Jerusalem und zurück.
Im Laufe der letzten 1.300 Jahre hat das Gebäude viele Veränderungen durchgemacht, so sind auch Teile davon bei Erdbeben und durch Kriege eingestürzt. Im 12. Jahrhundert wurde die Moschee von den Tempelrittern, die es dann als ihren Hauptsitz in Israel nutzten, eingenommen. Sie nannten sie Templum Salomonis (Royal Palace of Solomon) und man findet heute noch architektonische Elemente aus dieser Zeit an der Fassade des Gebäudes an seiner östlichen Seite. Unterhalb des Gebäudes, wo König Herodes es den Hang hinauf erbaut hatte, im Stallerrichteten die Kreuzfahrer den Stall für ihre Pferde und nanten diese Seite "Salomons Ställe", obwohl es keine inhaltliche Verbindung zwischen ihnen und der Zeit des Ersten Tempels unter König Salomon gab.
Saladin nahm die Stadt im Jahre 1187 ein und seitdem wurde die Moschee ihrem ursprünglichen Zweck zurückgeführt und steht seit dieser Zeit unter muslimischer Kontrolle. Heute wird sie von der Waqf, der muslimischen Behörde, die die muslimischen heiligen Stätten in Israel betreut, verwaltet. Die Kuppel der Moschee kann man von verschiedenen Aussichtspunkten rund um die Altstadt her sehen. Den Betsaal zu betreten ist aber nur Muslimen erlaubt.