Čertův sloup patřil k podpěrným sloupům klenby původního (dnes již zaniklého) kostela sv. Petra a Pavla na Vyšehradě. Roku 1503 se však udála podivná věc: sloup se náhle rozlomil a zřítil na podlahu chrámu. Přitom s sebou strhl i část klenby. Naštěstí se to stalo v době, kdy v chrámu nikdo nebyl.
Podle pověsti ze 17. století vzniklo pojmenování Čertův sloup takto: jistý kněz uzavřel s ďáblem jménem Zardan sázku za záchranu ženy posedlé ďáblem. Slíbil čertu svou duši, když se mu povede přinést kamenný sloup z chrámu sv. Petra v Římě dříve, než kněz doslouží mši. To bylo pro čerta tak lákavé, že sázku přijal. Vyhrát se mu nepodařilo, a tak sloupem praštil vzteky o zem a ten se rozbil na 3 kusy. Rozbitý strop se pak po dlouhá léta prý nedařilo zaklenout.
Další pověst praví, že při obléhání Vyšehradu husity v roce 1420 byl sloup vržen prakem, kterému se říkalo Čert.
Geologickým rozborem "Zaradanova sloupu" bylo zjištěno, že se nejedná o zbytky jednoho sloupu, nýbrž minimálně dvou různých sloupů! Navíc kámen nepochází z pražského okolí, ale z lomu v Krhanicích, poblíž Kamenného přívozu u řeky Sázavy.
Původ kamenných sloupů tak není zcela jednoznačně prokázán. Některé teorie objasňující původ sloupu tvrdí, že se jedná o dávný časoměřič či milník, některé mluví o sloupu jako středověkém pranýři; snad nejpravděpodobnější je představa sloupu jako původní součásti románské baziliky sv. Petra z 11. nebo 12. století. Klasická archeologie tvrdí, že jde o předkřesťanský monolit používaný k astronomickým účelům, který vznikl někdy mezi 5. a 10. stoletím našeho letopočtu.
Na sloupu jsou navíc jasně vidět římská písmena. Soudí se, že prvních šest písmen nápisu z Čertova sloupu by mohlo znamenat Sanctae Matris Marie (Svaté Matky Marie). Zbytek nápisu se nepodařilo dosud rozluštit.