Kapli u dnešní hlučné silnice nechal postavit majitel panství a
hradu Kámen Jan Kryštof Malovec. Vznikla pravděpodobně v letech
1667-1671. Nedochovaly se žádné listiny o stavbě kaple, o vzniku vypovídají
pamětní desky nad hlavním vstupem a nápis na náhrobku stavebníka. Betonový reliéf nad průčelím pochází z 20. let 20. století od sochaře Františka Rouse. V roce
1829 byla kaple zachycena na
prvním podrobném katastrálním mapování spolu s ohrazením kostela s vestavěnými kaplemi. Okolo roku 1830 bylo ohrazení včetně kaplí zničeno při stavbě komunikace na
Tábor. Jejich podoba se do dnešní doby nedochovala.
Ranně barokní kaple i přes ztráty v 19. a 20. století představuje
vysoce hodnotnou památku, která kombinací štukatérských, truhlářských, řezbářských a dalších prací vytváří dobově ucelený objekt s hodnotnými architektonickými prvky i mobiliářem.
V kapli probíhala mezi lety 2018-22 rekonstrukce, která umožnila její zařazení do prohlídkového okruhu hradu, poslouží i jako místo konání koncertů a jiných společenských akcí. Kaple je široko daleko vyhlášená svými varhanami. Roku 2023 byla kaple Panny Marie Bolestné oceněna titulem "
Stavba Vysočiny".