Na okraji města, na mírném návrší stojí renesanční zámek Přibyslav. Ve městě o kus dále původně stával hrad z první poloviny 13. století, z doby kdy se v Přibyslavi dolovalo stříbro. Roku 1424 k Přibyslavi přitáhli husité s úmyslem město s hradem dobýt. Vítězství však pro ně mělo hořkou příchuť, při obléhání totiž zemřel vrchní hejtman polních vojsk Jan Žižka z Trocnova na dosud neobjasněnou nemoc. I když Přibyslav byla zpustošena, místní obyvatelé město opět vystavěli. Podoba hradu není známa, pravděpodobně stál v prostoru Vyšehradu.
Nový renesanční zámek postavil Zachariáš z Hradce. Nechal se inspirovat italskou renesanční architekturou, který dodnes připomíná půvabný arkádový ochoz tvořený sloupořadím toskánského charakteru.
Nové zámecké sídlo bylo v 18. století rozšířeno barokními přístavbami a po několika požárech získalo klasicistní podobu.V současné době zámek vlastní Sdružení hasičů Čech, Moravy a Slezska, které zde provozuje hasičské museum. V patnácti sálech zámku je zcela netradičně dokumentována problematika požární ochrany i poslání hasičů v České republice. K vidění je zde expozice praporů, čtyřkolové koňské stříkačky, telefonní ústředna nebo staré hasičské automobily. Jsou zde vystaveny exponáty připomínající nejen bohatou historii hasičů, ale i současně používanou techniku, pomůcky sloužící k hašení požárů a k protipožární prevenci. Kromě základní výbavy tady narazíte i na nejstarší telefonní ústřednu, čističku hadicí nebo ohlašovačku požáru.
Součástí výstavy je expozice Civilní ochrany, Síň mezinárodní spolupráce se zeměmi CTIF a regionální výstava "Přibyslavsko".