Pozůstatky výstavného arcibiskupského hradu, zvaného též Supí Hora (překlad německého jména Geiersberk), stojí přibližně 1,5 km severovýchodně od Krupky. Předpokládá se, že jej stejně jako Střekov či Kamýk u Litoměřic založil Jan Lucemburský, který jej následně dával v léno. Prvním známým lenním držitelem byl Ota z Bergova, který je zmiňován k roku 1319.

Ve 30. letech 14. století jej zakoupil a následně zvelebil pražský biskup Jan IV. z Dražic. Hrad se stal biskupským a posléze arcibiskupským majetkem, a proto byl dobře udržován. Navíc jej arcibiskup Jan z Jenštejna nechal nákladně přestavět. Roku 1428 se jej neúspěšně pokusilo dobýt husitské vojko. O pět let později hrad dobyl pověstný husitský válečník Jakoubek z Vřesovic, který za husitských válek značně zbohatl a získal rozsáhlý majetek. On i jeho potomci si zvolili hrad Kyšperk jako hlavní sídlo a dokonce se začali psát z Kyšperka.

Ještě počátkem 16. století byl hrad v dobrém stavu, bohužel v roce 1526 za Jana Glace ze Starého Dvora vyhořel a již nebyl obnoven. Poslední dobrodužnou epizodou v historii hradu byl rok 1632, kdy se ve starých zříceninách bránili Sasové proti vojsku císaře Ferdinanda.

Ke hradu vede modrá turistická značka od dolní stanice lanovky v Krupce.