Odlukom Gradskog narodnog odbora u Sarajevu od 19. februara 1949. godine osnovan je Muzej grada Sarajeva. Njegov zadatak je bio da prikuplja, sređuje, proučava i muzeološkim sredstvima prikazuje kulturnu, društveno-političku i ekonomsku historiju grada Sarajeva i njegove bliže okoline od najstarijih vremena do danas. Prvobitno sjedište muzeja bilo je u zgradi Vijećnice, a jedini inventar koji je Muzej u tom trenutku imao bila su dva radna stola, dvije stolice i ormar za knjige. Međutim, kako se prikupljeni materijal vremenom širio, javila se potreba za novim prostorijama. Septembra 1950. godine Muzej je dobio nove prostorije u Vijećnici. Time je riješen privremeni problem, jer prostor za stalnu postavku je i dalje nedostajao. U međuvremenu, Muzeju je 1952. dodijeljena zgrada Sudačko-šerijatske škole, koju je dobio na korištenje zajedno sa Arhivom grada. Prvi uposlenici Muzeja bili su upravnik prof. Vojislav Bogičević i kustos Ljubica Mladenović.
Godine 1951. za direktora biva imenovan prof. Ahmet Grebo, koji je na toj funkciji ostao gotovo punih dvadeset godina. Muzej vremenom širi svoje kapacitete, pa je tako 1950. godine u dućanu porodice Ćatić u ulici Kazazi na Baščaršiji, otvorena postavka o kazaskom zanatu. Godine 1952. restaurirana je jedna od najljepših starih bosanskih kuća – Svrzina kuća i osposobljena za primanje posjetilaca. Iste godine započeli su radovi na uređenju kuće porodice Despić, koja je otvorena već naredne godine. Dana 28. juna 1953. godine otvoren je i Muzej “Mlade Bosne” posvećen Sarajevskom atentatu. Muzej Jevreja je svečano otvoren u novembru 1966. godine, prilikom proslave 400-te godišnjice dolaska Jevreja u BiH. Tokom rata 1992-1995, sva arhiva i eksponati muzeja smješteni su u Muzej Jevreja BiH, te se pokazalo da je Sinagoga bila dobro rješenje za čuvanje muzejskih predmeta, jer je najveći dio njih spašen.
Zbog promjena u administraciji i podjela na kantone, Muzej (grada) prelazi pod nadležnost Kantona Sarajevo, te odlukom Vlade Kantona mijenja ime u Javna ustanova Muzej Sarajeva. Danas, Muzej ima matičnu zgradu sa depoima i administracijom (Vila Koste Hermana), te pet muzejskih objekata: Svrzina kuća, Despića kuća, Muzej Jevreja BiH, Muzej Sarajevo 1878-1918 i Brusa bezistan sa stalnom postavkom koja prezentira historiju Sarajeva od prahistorije do austrougarskog perioda. Od 1963. godine Muzej izdaje časopis Prilozi za proučavanje historije Sarajeva- jedan od najstarijih muzeoloških časopisa u našoj zemlji.
