Za dalších majitelů Clam-Gallasů, byla zahrada na přelomu
18. a 19. století kompletně
renovována a původní sochařská výzdoba nahrazena novými plastikami. Na počátku 19. století byl letohrádek
klasicistně upraven, stal se sídlem
vrchnostenského zahradníka a začal sloužit výhradně hospodářským účelům. Kromě bytu se v letohrádku nacházely i místnosti určené pro
sadbu rostlin a rané zeleniny. Také původně
okrasná zahrada byla přeměněna na zahradu
užitkovou, a to výstavbou několika skleníků a záhonů. Přesto ve druhé polovině 19. století došlo k výsadbě několika okrasných tisů a k doplnění stávající
sochařské výzdoby.
Velkou stavební přeměnou letohrádek prošel ve
20. a 30. letech 20. století, kdy byl jeho interiér moderně upraven, a stal se
sídlem clam-gallasovské
lesní správy. Úřednický charakter budovy a zahradnictví si letohrádek udržel až do konce druhé světové války, kdy byl společně se
zámkem Lemberkem zestátněn.
Od roku
1947 byl letohrádek včetně zahrady v
soukromém vlastnictví a od roku
1989 opět majetkem
státu. V současné době je letohrádek i se zahradou v rekonstrukci.