V průčelí na obou rozích budovy byly vystavěny
dvě věže s cibulovitými báněmi. V místech, kde se chrámová část dotýká
piaristické koleje, byla nad presbytářem vybudována osmiboká štíhlá kamenná věž, rovněž s cibulovitou bání. Ve východní věži jsou umístěny dva zvony a hodiny.
Kolej měla
školní místnosti v západním křídle, dále cely řeholníků a v severní části byla vybudována shromažďovací síň, sloužící později pro divadlo. Byla zde i zahrada a hřiště pro žáky. Ve vlastnictví koleje byla
konírna, pec na pečení chleba, ale i kulečník.
Kolej měla na tehdejší dobu
velký význam. Vzdělávala se zde mládež nejen z Boleslavska, ale i z Liberecka, Frýdlantska a dokonce z Lužice.
V roce 1784 bylo piaristům nařízeno
přestěhování do
kláštera Na Karmeli. V roce 1793 koupil prázdnou klášterní budovu František Leitenberger a zřídil zde
textilní továrnu, tiskl zde šátky pod značkou Cosmanos. V roce 1859 zde byla umístěna
nemocnice pro raněné z rakousko-italské války.
K další změně majitele došlo v roce 1867, kdy kolej získal zemský výbor a po stavebních úpravách zde zřídil
ústav pro choromyslné, dnešní
psychiatrickou nemocnici.