Původně trojkřídlá budova byla postavena v letech
1693 – 1696 dvorním
stavitelem Johanem Sockhem v prostoru staršího hospodářského dvorce, zvaného Bílý dvůr. Architektonické ztvárnění fasád objektu se třemi křídly a třemi o patro vyššími čtverhrannými věžicemi, umístěnými na jeho nárožích, bylo přizpůsobeno architonickému pojetí pohledové zdi. Na honosné jižní průčelí s mohutným schodištěm navazoval umělecký i technicky náročně řešený vodní parter. Po požáru v roce 1795 bylo sneseno západní křídlo objektu, spojující Palác princů komunikační chodbou se
zámkem. Tím se jeho nádvoří zcela otevřelo do prostoru parku. V objektu jsou zachovány valené klenby nad místnostmi v přízemí. Na nádvoří stojí zachovaná kamenná mísa fontány z druhé poloviny 17. století, poslední pozůstatek z bohaté výzdoby zámecké zahrady.
V paláci se nyní nachází
Městská knihovna Ostrov. Prohlídka samotné budovy knihovny v nádherné barokní stavbě Palác princů zahrnuje například
volně přístupné restaurované fresky nebo ozdobné plochy u oken. V knihovně samotné je navíc zdarma přístupná
Oranžerie, která funguje jako výstavní sál pro organizované akce. Knihovna je pokryta volně dostupným bezdrátovým internetem, a to i v prostorách parku. Další zajímavostí, kterou lze v knihovně využít, je
nahlédnutí do novodobé i historické kroniky města. Pro návštěvu knihovny není nutné mít čtenářský průkaz, ten je nutné mít pouze v případě výpůjčky.