Barokní budova byla postavena v roce 1757, poslední přestavba proběhla v roce 1913. Za první světové války byl v zámku umístěn lazaret. Od roku 1924 zámek vlastní město.

Dne 2. ledna 1973 došlo k požáru a prostory, kde tehdy sídlila základní škola, částečně vyhořely. Část zámku byla přestavěna na Moravské kartografické centrum, které bylo slavnostně otevřeno roku 2007. V současné době v zámku sídlí Městský úřad a stálé kino, je zde i Památník města s pamětní síní akademického sochaře Karla Otáhala, který ve Velkých Opatovicích žil 29 let a vytvořil zde řadu soch.

Při návštěvě zámku objevíte obří plastickou mapu zemí Moravy a Slezska o ploše 100 m². Mapa vznikla začátkem 20.století, ale pro svou rozlehlost se nedala vystavovat... až tady jí umožnili vyniknout v celé kráse. Expozice je součástí sbírek Moravského kartografického centra, které v zámku sídlí.

V okolí zámku se rozprostírá na 13,5 hektarech krásný park se vzácnými dřevinami a sochou B. Smetany v nadživotní velikosti od akademického sochaře Karla Otáhala. Cenné jsou zbytky původního parku z druhé poloviny 18. století a výsadby z poloviny 19. století. Za zmínku stojí torzo snad nejstarší živé lípy na Moravě s obvodem kmene přes 11 metrů i borovice černá se sedmi kmeny a výškou okolo 30 metrů.