Kaple sv. Floriána a sv. Šebestiána, nazývána též bzenecký Floriánek, byla postavena v roce 1703. Jejím zakladatelem byl hrabě Erdman Pruskovský z Pruskova, který celou stavbu nechal zřídit na místě původního gotického hradu. Kaple se stala výraznou dominantou Bzence, ale pro svou polohu na vrcholu kopce bývala často poničena vichřicemi a blesky. V průběhu josefínských reforem byla v roce 1783 uzavřena. Roku 1852 byla nákladem města opravena a v 60. letech 19. století se její venkovní ráz změnil. Dne 15. září roku 1915 zapálil blesk střechu, jež byla následným požárem úplně zničena.

Skutečnou pohromou pro „Floriánka“ se stal až konec druhé světové války. Kaple podminována a zničena ustupujícími vojáky německé armády, aby zabránili jejímu využití jako pozorovacího stanoviště a zároveň význačného orientačního bodu v okolí postupujícími spojeneckými armádami.

S opravami se začalo po dlouhých více než sedmdesáti letech v roce 2017. Stavebně je objekt řešen tak, aby tvarem, skladbou a umístěním odpovídal dochovaným stavebním plánům z roku 1916. Slavnostní odhalení obnovené kaple proběhlo v roce 2018. Jediným rozdílem je, že ve věži vznikla rozhledna, z níž se nabízí rozhled nejen na město, ale i do širokého okolí.