Na místě dnešního
Dům pážat původně zde stály tři gotické měšťanské domy, které v roce 1541 vyhořely a na jejich místě byl vystavěn renesanční palác. Ten za vlády
Rudolfa II. sloužil k
ubytování císařských pážat. V 17. století došlo k barokní přestavbě podle
architekta Carla Luraga. Po této přestavbě byl dům používán pro bydlení chudších hradních zaměstnanců.
Dnes zde vzniká
Muzeum paměti XX. století, zatím probíhá jeho
rekonstrukce (
2022). Dům pážat poskytne po nutných stavebních úpravách a kolaudaci zázemí pro expozici a další vzdělávací činnost. Dvoupatrová budova nabídne také prostory vhodné pro knihovnu, studovnu a přednáškový sál, nádvoří může v budoucnu hostit nejrůznější kulturní akce.
Dlouhodobým cílem muzea je vytvořit
moderní paměťovou instituci zaměřující se na klíčové události 20. století na území Československa po vzoru významných zahraničních muzejních institucí (Muzeum Varšavského povstání ve Varšavě, Muzeum II. světové války v Gdaňsku, Dům teroru v Budapešti, Topografie teroru v Berlíně, Muzeum holocaustu ve Washingtonu či Jad Vašem v Jeruzalémě).