Rožmberský palác je značně rozlehlý a chlubí se velkou zahradu lemovanou arkádovým ochozem. Budova je původně renesančním palácem, který byl postaven po velkém požáru mezi roky 1545-74 pány z Rožmberka. V roce 1600 se Rožmberský palác stal majetkem císaře Rudolfova II., který jej spojil s Královským palácem.

Palác přetrval ve své podobě do poloviny 18. století, kdy byl radikálně přestavěn na Ústav šlechtičen. Ten sloužil k výchově třiceti šlechtických dcer, které byly starší 24 let. První abatyší Ústavu byla arcivévodkyně Marie Anna, dcera Marie Terezie. Mladé dámy bydlely v prvních dvou patrech ústavu, další prostory obsahovaly apartmá abatyše, kapitulní pokoj, chór, společenské místnosti, barokní kaple Nejsvětější Trojice a Neposkvrněného početí Panny Marie a místnosti, které sloužily k hospodářskému zázemí. Ústav byl roku 1919 rozpuštěn a budova poté sloužila potřebám Ministerstva vnitra. V letech 1996 – 2007 byl bývalý Ústav šlechtičen obnoven do původní barokní podoby a nyní slouží jako muzeum a výstavní prostory.

V původně renesančním paláci naleznete unikátní kapli Panny Marie Neposkvrněné, interiéry Ústavu šlechtičen vytvořené z dobového nábytku, obrazů a dalších užitných předmětů ze sbírek Pražského hradu a především Rožmberský sál, kde je nově umístěna stálá expozice Chrliče Svatovítské katedrály zblízka. Milovníci architektury se tak mohou kochat odlitky originálních chrličů ze 14. stol., návrhy a odlitky chrličů z 19. stol. spolu s přehlednými, poprvé kompletně zpracovanými schématy jejich umístění a bohatým obrazovým materiálem, které přiblíží to, co při běžném pohledu na katedrálu zůstává často skryto.

V budově paláce najdete mnoho sálů, které je možné si pronajmout pro jakékoliv společenské akce.