Původní hrad na Zámeckém vrchu nebo také vrchu Hněvíně stál už ve 12. století. Byl postaven rodem Hrabišiců a díky své nedobytné poloze patřil do sítě královských hradů. Hrad měl strategickou polohu, díky dvěma studnám dostatečné zásoby vody a byl dobře udržován. Významnou roli sehrál během třicetileté války, kdy ho lstí dobyli Švédové. Protože se stal příčinou mnohého utrpení během třicetileté války, byl na žádost obyvatel města v letech 1651 až 1653 zbořen císařem Ferdinandem.
V 19. století byla na vrcholu vystavěna rozhledna a restaurace, kterou však po roce vítr strhl. V roce 1896 byl ustaven Spolek přátel Zámecké hory a začátkem tohoto století pak byla podle plánů A. Schwarzera postavena replika hradu s restaurací.
V areálu hradu je přístupná věž s rozhlednou, hvězdárna a restaurace s hotelem. Před několika lety bylo opraveno přírodní divadlo a v létě se zde pod širým nebem pořádají divadelní představení a koncerty.