Dům bývá
nazýván též Žižkův podle historicky doložené skutečnosti, že se Jan Žižka z Trocnova v ulici U Černé věže v roce 1378 objevil. Spolu se svými přáteli figuruje na dochovaném dlužním úpisu. Není ovšem doloženo, zda návštěva či vystavení úpisu souviselo přímo s místem současného Wortnerova domu. Aktuálně užívaný název pochází od rodiny Wortnerovy, která se roku 1860 stala vlastníkem nemovitosti.
Od roku 1993 je ve Wortnerově domě umístěna pobočka
Alšovy jihočeské galerie. Pořádají se zde
výstavy děl jihočeských umělců, které jsou několikrát do roka obměňovány, a přednášky o umění.