Hned samotný název hřbitova je zavádějící, neleží totiž na Malé Straně. Hřbitov se rozprostírá na ploše 2,2 ha na území současného Smíchova. Na místě dnešního hřbitova se poprvé začalo pohřbívat v době moru, který Prahu postihl kolem roku 1680 a v průběhu 18. století.

Po změně v pohřbívání, ke které došlo za vlády Josefa II., byly zrušeny hřbitovy kolem kostelů a z hygienických důvodů bylo povoleno zakládat hřbitovy pouze mimo osídlení, za městskými hradbami. Proto byl roku 1786 na místě někdejšího morového pohřebiště založen hřbitov nový, určený pro Malou Stranu, Hradčany, Smíchov a Košíře. V té době jej obklopovalo jen několik hospodářských stavení s vinicemi. Průmyslový rozvoj Smíchova, především pak založení Ringhofferovy továrny v roce 1852, ovlivnil růst bytové zástavby, která hřbitov postupně obklopila. V roce 1884, tedy necelých 100 let od jeho založení, zde bylo pohřbívání ukončeno. Mnohé z hrobů byly zrušeny, náhrobky a ostatky zemřelých byly přemístěny na jiné hřbitovy, zejména na Olšanské hřbitovy a na Vyšehrad (např. Karel Jaromír Erben).

Na unikátním hřbitově jsou pohřbeni především význační představitelé národního obrození a poslední místo odpočinku zde nalezli známí architekti, sochaři a malíři jako Dietzenhoferové, Platzerové či Antonín a Václav Mánesovi. Nachází se zde významná díla sochařů 19. století: díla několika generací Platzerů, Václava Prachnera, Josefa Malinského, Josefa Maxe a dalších. Blízkost usedlosti Bertramka připomíná, že zde leží generace přátel W. A. Mozarta.

Celý areál hřbitova je rozsáhlou galerií zejména empírové funerální plastiky. Mezi autory náhrobků jsou další slavná jména – František Xaver Lederer, Josef Malínský, Jan Ludvík Kranner, Josef a Emanuel Maxovi. Uprostřed hřbitova stojí nejvýznamnější náhrobek biskupa pasovského, hraběte Leopolda Thun-Hohensteina. Pomník patří k vrcholným dílům sochaře Václava Prachnera. Byl ulit v hořovických hutích a je významnou památkou uměleckého slévárenství u nás.

Známý je také náhrobek Svaté holčičky, dílo Josefa Maxe z r. 1851 – na kamenném podstavci ležící postavička děvčátka, ke kterému děti spontánně začaly nosit svá přáníčka a kytičky. Příběh holčičky bývá vyprávěn v různých obdobách.

Podle pověsti žilo v jedné rodině na Újezdě milé a hodné děvčátko, které jednoho dne vypadlo nešťastnou náhodou z okna. Podle jiné pověsti se jednalo o dcerku malíře Kristiána Rubena, která zemřela v nejranějším dětském věku na tuberkulózu. Kolem náhrobku vznikla legenda, kterou zpracoval František Kožík v knize Svatá holčička.