Prvním panským sídlem v Křemýži byla tvrz připomínaná poprvé v roce
1545. Stála severně od vesnice na návrší Ladenburk. V roce
1669 koupila křemýžské panství
baronka Kateřina Alžběta z Bachonhay. V letech 1693–1695 nechala postavit na úpatí Ladenburku barokní zámek a starou tvrz strhnout. Panství po ní zdědila její neteř, která se provdala za
Jana Antoníny Hýzrleho z
Chodova. Později panství vlastnili
Věžníkové z Věžník a
Ledebourové, kteří zámek drželi až do roku
1945.
Říšský hrabě
Klement August Ledebour-Wicheln na počátku devatenáctého století zámek rozšířil o
druhé patro a klasicistní rizalit v průčelí. Po polovině devatenáctého století bylo za Adolfa Benna Ledeboura jihozápadní průčelí doplněno novogotickými prvky. K zámku patřila také zimní zahrada a barokní jízdárna. Zámek po druhé světové válce sloužil jako
zdravotnické zařízení se specializací na plicní choroby, později zde bylo zřízeno oddělení pro dlouhodobě nemocné pacienty. Dnes je v soukromých rukou, chátrá a
není veřejnosti
přístupný.