Hrad, stojící na strmých, nepřístupných skalách, byl založen ve druhé polovině 14. století pravděpodobně pány z Bibrštejna. Na počátku 15. století byl hrad obléhán husity a ke konci 16. století se uvádí jako pustý.
V podhradí stojí jednoduchá pískovcová kaplička z roku 1823, postavená ve stylu lidového baroka. Historie Frýdštejna je spojena se jménem malíře Beneše Knüpfera a Eduarda Miléna nebo kameníka Ignáce Martince, jemuž jsou připisovány také práce na výzdobě Pantheonu.