Gotickou tvrz založil roku 1365 vladyka Mikšík ze Svojšic. Po jeho smrti zdědila majetek Anna ze Svojšic. Tím majetkem byla gotická tvrz a několik dvorů. Po Anně ze Svojšic zde vládli synové jejího manžela Václava Ruthara z Malešova – Petr a Mikuláš, kteří se psali jako rytíři ze Svojšic. Sňatkem poté získali tvrz na 100 let Gerštorfové, ale postupně přestala plnit svou obytnou funkci. V roce 1634 ji vypálilo vojsko císaře Ferdinanda II., o té doby již nebyla obydlena a pustla.

V 20. století byla tvrz Klubem českých turistů částečně opravena. Od roku 1953 je kulturní památkou. Dodnes se ze zříceniny dochovaly zbytky jednopatrové obytné části tvrze se sklepem a gotickým vchodem do podzemní chodby vedoucí k zámku v Cholticích. Před tvrzí, která je volně přístupná, je pomník zdejší rodačky Julie Sýkorové, manželky Karla Havlíčka Borovského, která se narodila v tehdejší myslivně.

Pokud si chcete ke tvrzi udělat malý výlet, vyrazte z Horních Raškovic u Heřmanova Městce po červené turistické značce. Navíc po cestě navštívíte rozhlednu Barborku a bývalé lomy na kámen.