Zámek postavil ve druhé polovině 16. století Jan z Vartenberka, který také nechal nákladně upravit interiéry. Zámek poté měnil vlastníka v rámci příslušníků rodu Vartenberků. Jan Jiří z Vartenberka byl posledním z rodu, který zámek spravoval. Jelikož se aktivně zúčastnil protihabsburského povstání v letech 1619-1620, byl odsouzen ke ztrátě celého majetku.
Po roce 1623 se
majitelem zámku stal Albrecht z Valdštejna, který nechal původní objekt barokně upravit a založil park. Po jeho smrti vlastní zámek až do roku 1897 Kounicové a následně Lichtejštejnové.
Po zestátnění v roce 1945 objekt sloužil jako
domov mládeže a středisko jazykové přípravy zahraničních studentů. Čtyřkřídlá patrová budova s nárožními věžemi
v roce 2003 vyhořela, zůstaly pouze obvodové zdi. Od té doby zámek čeká na důkladnou rekonstrukci, kterou plánuje vlastník Univerzita Karlova.
Kolem zámku se rozprostírá
rozsáhlý anglický park. Součástí zámeckého parku se stal v 19. století i
skalní kaňon Robečského potoka zvaný Peklo, dnes národní přírodní památka s bohatým výskytem bledule jarní a
Valdštejnská lipová alej (stáří 300 let) vedoucí do jedné z nejstarších bažantnic v Čechách, dnes s chovem kozy bezoárové a muflonů.