約在公元前３０＃＃年，迦南人耶布斯部落從阿拉伯半島遷來，定居於此，因此得名。相傳公元前１０２＃年，在巴勒斯坦的部分地區建立了第一個希伯萊王國，隨即定都耶路撒冷。“耶路撒冷”一詞來自希伯來語，意為“和平之城”。猶太人曾先後在這裡興建規模宏大的聖殿，耶路撒冷成為古猶太人的政治和宗教中心。耶布斯國王麥基洗德在位時，建造了耶路撒冷城，並把它命名為“耶路撒利姆”，意即和平之城。阿拉伯人則習慣稱它為“古德斯”，即聖城。
耶路撒冷分東西兩城區，西區是十九世紀起新建的市區，布局別致，景色秀麗。東區則包括集中了許多宗教聖跡的老城，是西區的兩倍。老城歷經戰爭創傷，始建以來，已經重建和修復過１８次之多。公元前１０４９年，曾為大衛王統治下的古以色列王國老城。公元前５８６年，新巴比倫（今伊拉克）國王尼布甲尼撒二世攻陷此城，把它夷為平地。公元前５３２年，又為波斯大流士王侵占。公元前四世紀後，相繼附屬於馬其頓、托勒密、塞琉古諸王國。公元前６３年被羅馬攻占時，他們驅逐了城內的猶太人。羅馬人在巴勒斯坦對猶太人的暴政，引起了四次大規模的起義，羅馬人進行了血腥鎮壓，屠殺了１００多萬猶太人，並有大批猶太人被掠往歐洲，淪為奴隸。劫後餘生的猶太人紛紛外逃，主要去向是現今的英、法、意、德等地區，後來又大批流向俄國、東歐、北美等，從此開始了猶太人悲慘的流散史。公元６３６年，阿拉伯人打敗了羅馬人，此後，長期處於穆斯林統治之下。
十一世紀末，羅馬教皇和歐洲的君主們以“收復聖城”的名義，多次發動十字軍東侵，１０９９年十字軍攻占耶路撒冷，隨後在此建立“耶路撒冷王國”，延續近一個世紀，１１８７年，阿拉伯的蘇丹薩拉丁在巴勒斯坦北部的赫淀一役，大敗十字軍，收復了耶路撒冷。從１５１７年到第一次世界大戰前，耶路撒冷一直處於奧斯曼帝國統治之下。
１９１７年盟軍占領耶路撒冷。１９２２年起由英國“委託統治”。１９４７年聯合國大會通過了關於巴勒斯坦分治的第１８１號決議，規定耶路撒冷由聯合國管理。
１９４８年５月，第一次中東戰爭爆發後，以色列占領了耶路撒冷西區，並在１９５＃年宣布耶路撒冷為首都。城東區隨由約旦控制。１９６７年第三次中東戰爭時，以色列進而占領全城。１９８＃年７月以色列議會通過法案，將耶路撒冷定為以色列“永恆和不可分割的”首都。此舉引起了阿拉伯世界和國際輿論的強烈反映。
更有意思的是，三大宗教根據各自的傳說，都奉耶路撒冷為聖地。
公元前十世紀，古以色列王大衛的兒子所羅門繼位後，在耶路撒冷的錫安山上建造了第一座猶太教聖殿，教徒們來此朝覲祭神，耶路撒冷從而成為古猶太人宗教和政治活動的中心。