Zámeček vyrostl na místě tvrze, kterou po roce 1558 přestavěl Benjamin z Vlknova na své sídlo. V průběhu doznívající barokizace a následných úprav byl objekt přeměněn a v roce 1699 získán karmelitány, kteří jej používali i jako hospodu.
Budova prošla řadou přestaveb, byla zčásti redukována na jednodušší formu a ztratila mnohé ze svého původního charakteru.
V roce 1949 zde byl natáčen film "Hostinec u kamenného stolu". Nyní je tento objekt přestavěn na hotel, ubytovnu.