Zámek v Bílé Lhotě se poprvé připomínaná tvrz roku 1437, která náležela Ješkovi ze Lhoty. Původně renesanční zámek byl opakovaně přestavován a jeho renesanční podoba byla prakticky setřena. Dnešní zámek je jednoduchá, jednopatrová, čtyřkřídlá budova s malým dvorem.
V současnosti patří zámek obci Bílá Lhota. Však více než zámecká budova přitahuje pozornost návštěvníků
Arboretum, které dnes obsahuje více než 500 druhů listnatých, jehličnatých i stále zelených dřevin. Pozoruhodná je např. pravděpodobně nejstarší a největší kolekce japonských javorů u nás nebo skupina dubů starých téměř 400 let. V areálu se konají i výstavy s botanickou tematikou a další kulturní akce.