Roku 1514 byla rodem z
Veitmile postavena tvrz a roku 1611 byla t
vrz přestavěna na velkolepý zámek Jiřím ze Šternberka. Zámek vystřídal značné množství majitelů a byl zdevastován válkou a také vyhořel. Poté dali
Schwarzenberkové zámek upravit a
barokně přestavět do dnešní dochované podoby. Tento rod zámek vlastnil až do roku 1945. Dále sloužil jako depozitář
Státní knihovny ČSR v Praze. Pak ho vlastnil soukromý majitel, nicméně zámek chátral.
Nyní má zámek
trojkřídlou disposici kolem obdélníkového nádvoří, které je na čtvrté straně přístupné klasicistní kovovou branou s mříží směrem do města. Má dvě patra s dvojicí pavilónových nárožních nástaveb.
V současné době je
zámek opuštěný, zdevastovaný, v roce 2021 ho koupilo město a postupně realizuje jeho obnovu. V roce 2025 se začalo s rekonstrukcí střechy za 70 milionů korun.
Zámecká zahrada, kterou město vlastí déle, již prošla revitalizací a je otevřena veřejnosti.