Huset ble bygget av en fremtredende Sarajevo-familie, Glođos, hvorav et medlem var kadi - islamsk dommer-administrator - Munib effendi Glođo, kjent for sitt engasjement i Bosnias kamp for autonomi i det osmanske riket. Familien mislyktes på grunn av mangel på en mannlig arving, og eiendommen gikk ved ekteskap med en annen fremtredende Sarajevo-familie, Svrzo. Svrzo's House er et typisk eksempel på arkitekturen i den perioden, med inndelingen i selamluk eller offentlige kvartaler og haremluk eller private familiekvartaler. Den ble kjøpt fra Svrzo-familien, pusset opp og åpnet for publikum på 1960-tallet. Etter beleiringen av Sarajevo ble huset renovert og åpnet igjen for publikum i 1997. Ytterligere større renoveringer ble utført på huset i 2005, da taket ble reparert, brosteinsene ble gjenbetalt, foreldede serviceinstallasjoner ble skiftet ut, og malt dekorasjon på musandera (innebygd utvalg av skap) i hovedhalva (salong), som hadde bleknet gjennom årene, ble restaurert. Museet har utgitt en tospråklig - bosnisk og engelsk - monografi om Svrzos hus.