V domě dříve bývala známá
hospoda U české koruny, míval tu advokátní kancelář
JUDr. Antonín Zeman (spisovatel
Antal Stašek) a zde se také narodil jeho syn
Kamil Zeman (spisovatel
Ivan Olbracht). Kamil Zeman šel v otcových šlépějích, zabýval se literární tvorbou a žurnalistikou. Zvolil si pseudonym Ivan Olbracht. V letech 1909 – 1916 pracoval jako redaktor Dělnických listů ve Vídni. V polovině 30. let obrátil svou pozornost k problémům nejvýchodnější části republiky. Na Podkarpatské Rusi vznikly knihy „
Hory a staletí“, „
Golet v údolí“ a jeho vrcholné dílo „
Nikola Šuhaj loupežník“. Ivan Olbracht zemřel roku 1952 v Praze.
Oba známé spisovatele připomíná
bronzové sousoší "Otec a syn" sochaře Josefa Malejovského z roku 1960 nedaleko budovy muzea před vstupem do Palackého sadů.
Původně panský dům je připomínán již v 17. století. Dům se podařilo zachránit díky jednomu dobovému nedostatku. Na začátku šedesátých let chybělo v celém okrese tehdy nepostradatelné muzeum dělnického hnutí. Vzhledem k stranické činnosti I. Olbrachta se podařilo prosadit, aby toto muzeum bylo umístěno právě v jeho rodném domě a místo bourání zchátralého domu následovala rozsáhlá rekonstrukce. Od roku 1960 slouží
muzejním účelům. V podkroví je umístěna
stálá expozice, ostatní prostory jsou využívány pro
různé krátkodobé výstavy a kulturní akce.