Stavbu kláštera prováděla, s nejvyšší pravděpodobností, huť Matyáše z Arrasu, tedy prvního stavitele katedrály Pražského hradu. Nejvýznamnější a nejimpozantnější stavbou kláštera byl chrám Milostné Panny Marie, který měl svou velikostí a krásou konkurovat svatovítské katedrále i sedleckému klášternímu chrámu Nanebevzetí Panny Marie.

Dne 18. dubna 1421 byl celý areál kláštera zničen husity a jeho majetek zapsal císař Zikmund městu Kouřim. Král Jiří z Poděbrad později zastavil zbořený klášter Janu z Vojslavic, ale až v roce 1481 nechal Vilém Zub z Landštejna klášter obnovit a opat Jan, dosazený opět ze Sedlce, přebral zpět proto tak podruhé ukončuje svou činnost v roce 1533; budovy i chrám byly tehdy ponechány svému osudu.

V roce 1690 byl klášter z iniciativy sedleckého opata Jindřicha Snopka podruhé obnoven. Původní klášterní budovy však byly již zcela zpustlé a proto byl vystavěn ze zbytků východního křídla klausury a přilehlé prostory severního křídla prostý dvoukřídlý konvent, na který navázala při jižním rameni transpetu bývalého chrámu barokní kaple Zvěstování P. Marie, sklenutá kříži do pásů a vyzdobená ornamentální malbou. Existence kláštera však opět neměla dlouhého trvání, za josefínských reforem byl klášter v roce 1783 definitivně zrušen. Nevyužívané budovy koupil v roce 1819 měšťan Jiří Dörfel, který konvent upravil na zámek, bývalá klášterní kaple se stala kaplí zámeckou a její průčelí bylo pseudogoticky upraveno. Z chrámu se dodnes dochovalo pouze deset metrů vysoké torzo mohutného, bohatě profilovaného gotického pilíře z červeného pískovce, prokazatelně dílo huti Matyáše z Arrasu (v 19. století zde stálo ještě 12 pilířů) a fragmenty západní zdi příčné lodi s výběhy žebrové klenby chóru.