V roce 1785 došlo v rámci
josefínských reforem ke zrušení paulánských kostelů v Čechách. Zrušen tak byl i klášter ve Světcích. Světce poté získávají poslední z feudálních majitelů –
Windischgrätzové.
Josef Mikuláš Windischgrätz nechal z odsvěceného kostela vynést tělesné ostatky mnichů i zakladatele kláštera. Klášter sloužil rodině Windischgrätzů za provizorní sídlo v době přestavby tachovského zámku. Od roku 1857 začal syn Josefa Mikuláše, polní maršál
Alfred I. Windischgrätz s přestavbou areálu na honosné sídlo hodné knížete a císařského maršála. Byla zbořena velká část hodnotného barokního kostela, přistavěno nové severní křídlo, zachována zůstala jen levá věž kostela. V letech 1858-1861 byla pod zámkem postavena
jízdárna v neorománském stylu, jednalo se o druhou největší jízdárnu v tehdejším Rakousku (po vídeňské). Stavbu rozsáhlého romantického zámku kvůli smrti v roce 1862 nedokončil. Nástupci Alfreda I. ve stavbě zámku nepokračovali.
Na přelomu 19. a 20. století byla jeho stavba z větší části rozebrána a dodnes se zachovala jen v romantických zříceninách. Budova bývalého konventu kláštera dnes slouží
Střední průmyslové škole Světce.