V létě roku 1679, kdy ve Vídni vypukla morová epidemie, přebýval v budově jezuitské koleje ve
Znojmě římský císař a český král Leopold I.
Postupnou adaptací budovy na kasárna a archiv byla změněná vnitřní dispozice, v roce 1959 byla přistavěná věž. Zachovaná zůstala část kleneb v interiéru, v roce 1998 byla rekonstruovaná sgrafitová fasáda.