Dodnes je však nepřehlédnutelnou dominantou
města kaple svatého Floriána, stojící na kopci Floriánek dříve zvaném
Spielberg. Svatý Florián byl po požáru města zvolen jeho patronem a město v dohodě s knížetem Maxmiliánem z Lichtenštejna začalo v roce 1695 s budováním této
kaple v barokním slohu. Roku 1809 byla kaple znesvěcena a zpustošena francouzským vojskem. Obnovena byla roku 1934. Původně měla uprostřed vysokou věž, zůstaly však jen
čtyři vížky v rozích. Oltář zdobil obraz patrona města od
Gutweina. V 60. letech 20 století však byla po několikerém poničení interiéru uzavřena a vnitřní mobiliář odstěhovány.
Kaple je postavena
z tesaného kamene, má tři vchody a čtyři vížky v rozích. Na novostavbě kaple bylo umístěno původně pět věží. Prostřední – pátá věž však byla odstraněna. Interiér kaple tvořily dva krásné
oltáře, varhany a dva zvony. Kroky k záchraně kaple podnikl farní úřad a farníci v letech 1968-1969, kdy došlo k částečné opravě interiéru a vnějšího pláště kaple. Dostavěna byla roku 1697 a váže se k ní pověst, kdy
při návratu z lovu se splašení knížecí koně zastavili těsně nad srázem a vděčný kníže dal na tomto místě postavit kapli.
Po roce 1989 byly
obnoveny tradiční poutě na sv. Floriána, které se konají každý rok začátkem května. Otvírá se několikrát ročně v době
pouti a bohoslužeb. Občas se zde konají i
koncerty vážné hudby.