Jeho stavbu v roce 1546 započal Kryštof Gendorf z Gendorfu. Byl postaven v renesančním slohu pravděpodobně Italem Carlem Valmadim a patří k prvním stavbám svého druhu v Čechách. Neznámý stavitel vycházel ze schématu italského kastelu (malé pevnosti či tvrze). Původně zámek obklopoval stavbu dvanáct metrů široký vodní příkop, přes který se do zámku vstupovalo třemi mosty. Za více než 400 let své existence prošel zámek četnými změnami a dnes slouží jako sídlo městského úřadu.
Pro návštěvníky je volný přístup do vstupní haly, kde je možno vedle intarziemi zdobených dveří spatřit obrazy posledních ulovených krkonošských medvědů (v letech 1665, 1693, 1701 a 1726). Dále jsou volně přístupné prostory schodišť a hal, ve kterých jsou ke shlédnutí historické fotografie města v porovnání se současným stavem a dále několik fotografií zachycující zámecké interiéry před přestavbou na kancelářskou budovu.
Nejvzácnější památkou z původního zařízení jsou renesanční kachlová kamna v bývalém rytířském, dnes ve velkém zasedacím sále. Dominují zde velikostí i výzdobou, jsou jedním z prvních příkladů využití majoliky v českých zemích. Kachle s biblickými náměty nesou letopočet 1545.
V letní sezóně je možné neveřejné prostory navštívit v rámci komentované prohlídky, kterou nabízí místní infocentrum.