Skalnatá rokle se původně nazývala Smolný důl, protože zdejší uhlíři měli vedle milířů i smolné pece, v nichž vařili kolomaz. Teprve později zde vzniklo poutní místo, o jehož původu se vyprávěly různé pověsti. Podle jedné z nich tu dobrovolně zemřeli rytíř Jaroslav ze Svojkova s dcerou sládka z Velenic, kteří se velmi milovali, ale rytířovi rodiče jim jejich lásku nepřáli. Jiná pověst vypráví, že tu jeden selský chlapec zabil svého soka v lásce.
Poprvé sem v roce 1704 pověsil svatý obrázek pomocník ve svojkovském pivovaru Melzer, aby zaplašil duchy na tomto místě. Vrchnost pak nechala hustý les trochu prosvětlit a u obrázku se začali zastavovat pocestní. Časem se krajinou rozšířily zprávy o zázračně vyslyšených modlitbách. V roce 1772 byly vyslyšeny prosby svobodné paní von Czerwelli ze Svojkova, která na místě dala zřídit dřevěnou kapličku, do níž byl Melzerův obrázek přenesen. Počet návštěvníků tohoto místa se zvětšoval a z okolí sem mířila celá procesí a tak se místo stalo poutním místem. Koncem 18. století byla dřevěná kaplička zbourána a hraběnka Alžběta Kinská nechala vytesat novou kapli do skalní stěny. Práci provedl svojkovský zedník Josef Sacher. Náboženský kult se zde od počátku silně prolínal s divokou krásou romantického údolí.
Popularita Modlivého dolu však vadila sloupskému faráři, který zde za pomoci vrchnosti nechal odstraňovat svaté obrázky i tabulky s poděkováním za vyslyšené prosby. V září 1806 dokonce biskupská konzistoř v Litoměřicích nařídila, aby z kaple byly odstraněny sochy Ježíše a Panny Marie. Vzápětí ale obě sochy z kaple zmizely a teprve po několika měsících byly nalezeny ukryté v jedné z odlehlých roklí. K opětnému obnovení poutí do Modlivého dolu došlo až za epidemií cholery v letech 1832 a 1850, kdy sem směřovala prosebná procesí i z České Lípy.
Postoj církve ke zdejším poutím se ale změnil teprve koncem 19. století, kdy byla kaple zasvěcena Panně Marii Lourdské, a její vnitřek byl roku 1903 upraven na lourdskou jeskyni. I potom sem směřovala procesí z širokého okolí a modlit se sem chodil i bývalý císař Ferdinand V. při svých projížďkách ze zámku v nedalekých Zákupech. Po druhé světové válce ale tradice ustala, poutní místo bylo zničené a v sedmdesátých letech odtud zmizela i křížová cesta. Ta se sem, díky iniciativě místních obyvatel roku 2016, opět vrátila. Původně byla křížová zastavení přidělaná na stromech, nyní jsou na dřevěných stojanech, které vytvořil místní truhlář.