Příběh zámku se začíná psát v roce
1617, kdy panství v
Černé Vodě získal Johann Mikusch. Tento slezský rod, později povýšený na rytířský a hraběcí, zde vystavěl jednopatrové sídlo s kaplí, které se stalo základem dnešního zámku. Mikuschové významně přispěli k rozvoji obce a zanechali po sobě nejen samotný zámeček, ale i náhrobky v kapli, kde jsou pohřbeni někteří z členů rodu.
Kaple tehdy sloužila také místním obyvatelům jako farní svatostánek.
Po roce 1798 se majitelé zámku střídali – od hraběte
Konráda Šternberka až po inženýra Johanna Trische, který na pozemcích panství založil osadu
Nový Kaltenštejn. Po druhé světové válce byl objekt zestátněn a později využíván jako škola či skladiště.
Z původního areálu se do dnešních dnů dochovala
obytná budova s věží, kaplí, stájí a ohradní zdí. I přes četné přestavby si zámek zachoval své kouzlo a je zajímavým cílem pro návštěvníky. Zámek má soukromého majitele, který se snaží o jeho záchranu a obnovu. Je veřejnosti běžně nepřístupný.