V místě dvou původních domů při bývalé Strahovské bráně v Nerudově ulici byl v letech 1691 až 1717 postaven kostel Panny Marie zvaný U Kajetánů.
Základní kámen kostela byl položen v roce 1691, stavba byla dokončena patrně počátkem 18. století a k vysvěcení došlo až 29. září 1717. Klášter a jeho učiliště sloužily především k výchově a duchovní kariéře šlechtický synů.
Po zrušení kláštera v roce 1789 hrozila kostelu demolice, nakonec byl ale zachráněn a svěřen do správy náboženské matice. V roce 1869 jej získali redemptoristé, kteří kostel zrenovovali a změnili jeho dosavadní patrocinium Panny Marie pod ochranou Božské prozřetelnosti a sv. Kajetána na současné.
Kostel je jednolodní stavbou na křížovém půdorysu s kupolí v křížení, s ojedinělou vnitřní dispozicí v duchu římského baroka. První projekt podal roku 1679 italský architekt Guarino Guarini. Podle něj stavbu prováděl pravděpodobně Giovanni Domenico Orsi. Autorství bylo dříve připisováno Jeanu Baptistu Matheyovi, podle Pavla Vlčka byl autorem Giovanni Domenico Orsi. Výslednou podobu asi příliš neovlivnil Jan Blažej Santini-Aichel, který se podílel na dokončení stavby roku 1706, provedl konkávně zvlněnou fasádu hlavního průčelí.
Vybavení interiéru je převážně barokní a bylo obnoveno v letech 1969 až 1974.