Název tohoto návrší na levém břehu řeky Vltavy je doložen písemnými prameny od 15. století. Archeologické nálezy ze 70. let 20. století potvrdily osídlení této lokality již v mladší době kamenné.
Na vrcholu skály se tyčí záhadná zřícenina budovy, která bývá pokládána za zbytek viničního lisu. Tamější vinice byla založena roku 1622 novoměstským měšťanem Jindřichem Žežulem, avšak vlastní lis spolu s letohrádkem dal v místě postavit po roce 1650 tehdejší majitel vinice Servác Engel z Engelflussu. Po něm se stal majitelem nemovitosti děkan metropolitní kapituly u sv. Víta Tomáš Jan Pešina z Čechorodu, který ji v roce 1673 koupil. Proto bývala v té době vinice označována jako Děkanka nebo Čechorodka.
Za válek o rakouské dědictví byl ve 40. letech 18. století letohrádek vypálen a pobořen. V roce 1748 koupila pozemky A. T. Lohnerová, která je připojila ke svému šáreckému hospodářskému dvorci. Až v roce 1858 byl pozůstatek budovy letohrádku při stavbě železnice z Prahy do Podmokel upraven péčí státní dráhy v romantickém duchu v půvabnou dnešní dominantu Prahy 6 na ostrohu nad řekou Vltavou.
Ke zřícenině Baba se nejsnázeji dostanete z ulice Nad Paťankou, která vás zavede až k samotné zřícenině. Dále je možné vydat se sem po červené turistické značce od kostelíku sv. Matěje, případně z Šáreckého údolí.