Vrtbovský palác vznikl barokní přestavbou měšťanských domů po roce 1631 hrabětem z Vrtby. Další přestavba byla provedena Františkem Maxmiliánem Kaňkou, který je i autorem nejpozoruhodnější pražské zahrady, která palác proslavila.

V domě žil Kryštof Harant z Polžic, popravený na Staroměstském náměstí roku 1621. V letech 1886 až 1889 zde bydlel Mikoláš Aleš.

Vrtbovská zahrada, na jejímž vzniku se podílely umělecké hvězdy pražského baroka od Františka Maxmiliana Kaňky, autora projektu, až po sochařskou výzdobu Matyáše Bernarda Brauna se totiž právem řadí mezi nejkrásnější barokní zahrady Evropy.