Místodržící zde
z vděčnosti nechal v roce 1654 postavit dřevěnou kapli, do níž pořídil kopii slavného
obrazu Pasovské Madony s Dítětem namalovaného Lucasem Cranachem starším. Vedle kaple byla v roce 1724 postavena poustevna.
Uctívaný
obraz získával věhlas a přicházelo sem stále více poutníků, aby prosili o duchovní pomoc. Proto byl v letech 1755-1758 vystavěn velký poutní kostel, k němuž vede monumentální lipová alej z roku 1770, která je
dnes chráněnou kulturní památkou. Hlavní alej je široká 12 m a podél ní jsou dvě boční aleje široké 4 m. Kostel byl v průběhu věků několikrát poškozen blesky a byl několikrát obnovován. V dřívějších dobách stával vedle kostela hostinec.
Slavnostní poutě se zde konaly až do roku 1970. Stavu kostela neprospěla těžba tufů v jeho blízkosti a příchodem okupačních vojsk Sovětské armády vzrostl vandalismus. Interiér kostela byl vojáky i místními vandaly poničen. Komunistické úřady nakonec poutní slavnosti zákazaly. Z jeho bohatého mobiliáře se podařilo zachránit jenom několik obrazů a soch. Obnovy se poutní místo dočkalo až po roce 1989.
Po náročné rekonstrukci byl poutní kostel Panny Marie Pomocné na Uhlířském vrchu
9. 10. 1993 znovu vysvěcen olomouckým arcibiskupem Msgr. Jana Graubnerem. Této události se zúčastnilo mnoho občanů
Bruntálu, širokého okolí i německých turistů.
Kolem přístupové cesty ke kostelu vede nová křížová cesta z různých druhů dřeva na kamenných podstavcích.