Kolem roku 1350 stál v Bavorově již starší kostel, filiální ke kostelu v Blanici. Po roce 1360 se započalo se stavbou nového farního chrámu – zakladateli byli bratři Petr, Jošt, Jan a Oldřich Rožmberkové. Zřejmě do roku 1384 byla stavba dokončena (podle znaků Jana z Rožmberka a jeho choti Elišky z Halsu, umístěných na jižním portále, lze soudit, že tato část byla hotova již před r. 1389, kdy Jan zemřel).

Kostel Nanebevzetí Panny Marie byl původně plánován jako jednolodní na pravidelném křížovém půdorysu, později po dostavění presbytáře a příčné lodi proveden jako dvoulodí sklenuté původní obkročnou klenbou na dva pilíře. V 17. stol. přestavěn na trojlodí s pětiboce uzavřeným presbytářem se sakristií na severní straně. Sakristie je spojena chodbou na obloucích s přilehlou farou. Při severním rameni příčné lodi se nachází obdélníková věžovitá kaple Anděla strážce, na severní straně trojlodí kostnice a při jeho jihozápadním nároží větší třípatrová renesanční věž. Vnitřní řezbářská výzdoba je zčásti dílem Jana Václava Hammera z Čimelic z doby kolem r. 1770.

Chrám Nanebevzetí Panny Marie se vypíná na západním okraji původního městského jádra a tvoří skutečnou dominantu města. V roce 2007 se podařilo farní kostel Nanebevzetí Panny Marie opravit. Byla dokončena venkovní fasáda, opraveno oplocení, položena nová kanalizace, dlažba a schody před kostelem. Po sedmdesáti letech byl nově vymalován i interiér chrámu a instalováno vytápění. Dále byla provedena nová elektroinstalace kostela, úprava chrámového parku a oprava a zprovoznění třech zvonů. V současné době se započalo s kompletní opravou varhan. Nová fasáda zdobí také budovu fary.

Raritou kostela je spojovací chodba, která vede z děkanství do kostela. Kostel proto nemusí být uzamykán zvenčí.