Pisani dokumenti o naseljavanju Jevreja u Beogradu potiču iz XVI veka kada je grad bio pod turskom (Otomanskom) upravom. Mnogi istraživaci međutim veruju da su Jevreji boravili u Beogradu i mnogo ranije. Ima dokaza o prisustvu Jevreja na Balkanskom poluostrvu još u Rimsko doba. Sasvim je moguće, i za očekivati, da su Jevreji, kao građani Rimske imperije, dolazili i do rimskog vojnog utvrđenja Singidunum, danas se tu nalazi Beograd. Danas mnoga jevrejska sefardska prezimena imaju izrazito hebrejsko poreklo (kao npr. Levi, Gadol, Katan i dr.), što takodje ukazuje na činjenicu o prisustvu Jevreja na Balkanskom poluostrvu još pre dolaska Sefarada.
Postoje takođe i jevrejski zapisi o ranom prisustvu Jevreja u Beogradu – npr. 950. godine Rabin Hisdaj Ibn Šarput piše pismo u ime Kalifa Abdul Rahmana III iz Kordove i šalje ga hazarskom Haganu Jozefu XI jevrejskim kanalima koji idu i preko Beograda. Godine 1205. mađarski Kralj Andraš II, poznat kao veliki rasipnik, zauzima krajnje neprijateljski stav prema jevrejskim trgovcima, uključujući i one u Beogradu.
Jevreji Sefardi su proterani iz Španije 1492. godine, i ubrzo posle toga počinju da naseljavaju zemlje Sredozemlja i Otomansku imperiju. Prvi Jevreji Sefardi dolaze u Beograd u XVI veku. Nastanjuju se na obali Dunava, u neposrednoj blizini beogradske tvrđave, u donjem delu Dorćola (naziv Dorćol potiče od turske reči za raskršće, bukvalno „četri puta“), koji je bio poznat pod imenom Jalija. U starim mapama Beograda, koje poticu iz XVIII veka, Jevrejska ulica je ucrtana na istom mestu gde se nalazi i danas. Eškenazi, Jevreji koji su živeli uglavnom u centralno-evropskim zemljama i koji su bili pod uticajem nemačke kulture i nemačkog jezika, takođe se naseljavaju u manjem broju u Beogradu, ali uglavnom u delu uz obalu reke Save. U to vreme dve jevrejske zajednice žive odvojeno jedna od druge.
Do sredine XVIII veka, Jevreji u Srbiji su uglavnom bili tretirani dobro, a bavili su se ponajviše trgovinom solju. U vreme raspada i prestanka turske vlasti u ovim krajevima, jevrejski trgovci su uveliko bili uključeni i odgovorni za trgovinu između severnih i južnih delova Otomanske imperije.
Na osnovu istorijskih zapisa, jevrejska zajednica je već u XVII veku dostigla svoj kulturni vrhunac, kada je u Beogradu postojala i radila ješiva – jevrejska verska škola. Beogradski rabini i učitelji su štampali svoje knjige u Veneciji, Krakovu, Istanbulu i Budimpešti. Stara sinagoga u blizini Jevrejske ulice podignuta u XVII veku je obnavljana i rekonstruisana više puta, kao i postojeće ritualno kupatilo (mikve). Jevreji su živeli u tom delu grada, često nazivanim imenom Ćifut mahala (na turskom jeziku: „jevrejski kvart“).
1804. godine Srbi su podigli ustanak protiv Turaka (Prvi srpski ustanak) i započeli borbu za nezavisnost. Da bi izbegli ratna zbivanja mnogi Jevreji su prešli na drugu stranu Dunava u Zemun u Austro-Ugarsku, i priključili se postojećoj jevrejskoj zajednici tamo. U znak podrške borbi za nezavisnost, Jevreji su snabdevali srpske ustanike sa oružjem, zbog čega su sledile brutalne osvete i napadi od strane Turaka. Drugi srpski ustanak, koji je buknuo posle kraha Prvog srpskog ustanka, i borba za nezavisnost se nastavljaju sve do 1830. godine kada Srbi dobijaju pravo na autonomiju, a kasnije i punu nezavisnost.
Po dobijanju punih prava, bogatiji Jevreji počinju postepeno da se apsorbuju u srpsko civilno društvo. Govorni jezik postaje srpski, jevrejska deca počinju da idu u državne škole i univerzitete, postaju lekari, državni službenici, itd. Polako se sele u druge delove grada. Ipak, većina Jevreja i dalje ostaje da živi na donjem Dorćolu (Jaliji) sve do početka Prvog svetskog rata, kada je ovaj deo grada delimično razrušen od strane austrijske artiljerije sa druge strane reke (u to vreme se Beograd graniči sa Austro-Ugarskom monarhijom na drugoj obali reka Save i Dunav).
Posle Prvog svetskog rata, kada Beograd postaje prestonica Kraljevine Jugoslavije, mlađa generacija sve više napušta raniju jevrejsku četvrt i počinje da se bavi različitim profesijama, bankarstvom, berzanskim poslovima i tekstilnom industrijom. Otvorene su Jevrejska biblioteka i Jevrejska čitaonica, koje počinju da privlače jevrejske i nejevrejske intelektualce da proučavaju i diskutuju različite društvene i kulturne teme.
Neposredno pred Drugi svetski rat u Beogradu je živelo oko 12.000 Jevreja. Od tog broja, 80% su bili Sefardi, koji su u znatnom broju još uvek govorili judeo-španski (ladino), a 20% su bili Aškenazi koji su koristili jidiš, mešavinu nemačkog i hebrejskog jezika. Svaka od ovih grupa je bila organizovana kao zasebna zajednica sa sopstvenom administracijom, školom, grobljem i drugim verskim, humanitarnim, kulturnim i nacionalnim organizacijama.
Postojeća harmonija je brutalno prekinuta 1941. godine. Neposredno pre izbijanja rata, pro-nacistička jugoslovenska vlada je uvela više antisemitskih zakona (kao što su „clausus census“ u visokom obrazovanju i javnoj službi, zabrana rada u proizvodnji i trgovini hranom, Jevreji su proglašeni za nacionalno nepouzdane građane, prekomandovani iz „elitnih“ vojnih jedinica, i sl.). Zemlja je bila u ratu, i počela je četvorogodišnja nacistička okupacija.
Jevrejska zajednica Beograda je gotovo potpuno uništena u Holokaustu. Jevrejski kvart na Dorćolu i sinagoge su u velikom stepenu bili oštećeni već tokom bombardovanja Beograda 6. aprila 1941. godine. Od predratne zajednice od više od 12 hiljada Jevreja, samo je 1.115 beogradskih Jevreja preživelo Holokaust. Gotovo 95% jevrejskog stanovništva Srbije je potpuno uništeno tokom Drugog svetskog rata.
Rad Jevrejske opštine Beograda je obnovljen 22. oktobra 1944. godine, nekoliko dana nakon oslobadjanja grada. Formirana je privremena Uprava opštine predvodjena piscem Žak Konfinom. Bivša Aškenaska sinagoga u Kosmajskoj ulici je delimično popravljena i vraćena u službu. Unutrašnjost sinagoge je tokom okupacije pregrađena, i korišćena kao „javna kuća“, a bila je delimično i oštećena. U subotu 2. decembra 1944., hram je svečano osvećen od strane rabina Alberta Altaraca. Novo jugoslovensko rukovodstvo i zakonodavstvo su ukinuli sve antisemitske zakone i garantovali punu nacionalnu, etničku, rasnu i versku ravnopravnost i slobodu za sve građane, uključujući i Jevreje. Najzad je i jevrejska zajednica doživela punu emancipaciju i bila potpuno i ravnopravno uključena u sve tokove društvenog života.
Političko i društveno okruženje je bilo potpuno promenjeno, a novi sistem vrednosti zamenio stari. Zemlja je bila razorena, a tradicionalni jevrejski način života praktično nestao. Dok je većina Jevreja pozdravila promene, neki su ipak ostali skeptični, neki su opet nosili isuviše loše uspomene na predhodni period. Od procenjenih 14.500 jugoslovenskih Jevreja koji su preživeli Holokaust, jedna trećina nije nastavila da živi u zemlji (najčešće se nisu ni vratili u zemlju iz izbeglištva), odselili su u zapadnu Evropu, severnu i južnu Ameriku. Po osnovanju države Izrael, još jedna trećina je otišla tamo (uglavnom sa prvom i drugom alijom). Preostala trećina je nastavila da prenosi jevrejsko nasleđe na mlađe generacije.
Devedesetih godina prošlog veka, Jugoslavija se raspala u niz nezavisnih država. Jevrejske opštine bivše Jugoslavije, koje su delile toliko zajedničkog, uprkos svim turbulentnim zbivanjima, nastavile su saradnju.
Danas Beograd ima malu ali veoma aktivnu jevrejsku zajednicu. Jedina aktivna sinagoga u Srbiji je u Beogradu.
Grad Beograd ima više komemorativnih spomenika posvećenih stradanju Jevreja u prošlom ratu.
U Beogradu postoje sefardsko i aškenasko jevrejsko groblje, ali je samo sefardsko groblje u aktivnoj upotrebi za celokupnu zajednicu.
