Hrad založil jako rodové sídlo krátce před rokem 1279 Děpolt, zakladatel významného rodu Švihovských z Rýzmberka. Ve 14. a 15. století probíhaly postupné přestavby a dostavby. Jádro hradu bylo zpočátku klasickou bergfritovou dispozicí s obrannou věží na jedné a palácem na druhé straně, na místě dnešní rozhledny. Později přibylo opevněné předhradí s druhou věží a další palácové křídlo. V 15. století pak bylo předhradí rozšířeno o novou část, přibyla další čtyřhranná věž na obranu nového vstupu a na jihu nový hradební okruh s drobnými flankovacími baštami.
Poslední přestavba na počátku 16. století sice poskytla hradu kvalitní dělostřelecké opevnění, právě ta se mu však stala paradoxně osudnou. Na základě nařízení císaře Ferdinanda III. z roku 1655 o likvidaci kvalitních pevností, které by se mohly stát v budoucnu oporou nepřátel, byl zbořen i hrad Rýzmberk. Novodobá úprava v době rozkvětu romanticky motivované turistiky sice opatřila zříceninu rozhlednou historizujícího stylu a hostincem, na stavbu však byl použit materiál z původního zdiva, a tak byla devastace památky dovršena.
Již několik let se na Rýzmberku provádí archeologický průzkum. Na protilehlém vrcholku stojí rozhledna Koráb a pokud budete mít štěstí, zahlédnete i bílou paní Apolenu, pyšnou dceru rýzmberského pána.