Františkánská komunita se těšila značné přízni okolní šlechty. Jedním z nejštědřejších příznivců byl Půta z Lichtenburka. Roku 1492 zde byl i pohřben. Svědčí o tom figurální náhrobní kámen zasazený do severní stěny kostela. Je na něm vytesán sv. Vít v životní velikosti.

Roku 1468 město i klášter vypálili a pobořili vojáci uherského krále Matyáše Korvína. Poničení kláštera otevřelo cestu k jeho přebudování. Kostel byl přestavěn v pozdně gotickém stylu a rozšířen o kapli Umučení Páně. Stavení konventu byla už zděná a patrová. K příslušenství náležela rozlehlá zahrada a studna. Dodnes je zachován vstup do podzemních chodeb. S jemnickými bosáky (františkány) je spojován i první městský vodovod. Na západní straně bývalé klášterní zahrady je zachován tzv.haltýř“, do kterého přetékala přebytečná voda z bohatého pramene. Měšťané odváděli vodu z této nádrže dřevěnými rourami do města.

Roku 1529 se stal novým pánem na Jemnici luterán Jindřich Meziříčský z Lomnice. Téhož roku vydal zákaz kázání v klášterním kostele. V roce 1546 obyvatelé města napadli klášter a mnichy vyhnali. Roku 1560 už byl klášter pustý. Františkáni se do Jemnice vrátili až roku 1675. Kvůli finančním nesnázím rozhodl olomoucký biskup o konečném zrušení kláštera. Stavení konventu se časem úplně rozpadla. Zůstal zachován jen kostel sv.Víta. O sto let později se jemnický farář Josef Šabatka zasloužil o stavební úpravu kostela. Jemu vděčíme za vznik překrásné fresky „Nanebevzetí sv. Víta“, kterou namaloval Jan Josef Winterhalder. Fresková výmalba kaple Umučení Páně pochází z konce 19.století. Za josefínských reforem byl kostel zrušen jako „nepotřebný polní chrám“. Chrámovou stavbu vykoupila v dražbě hraběnka Daunová a darovala ji městu.