Od roku 1451 patřil Kostkům z Postupic. Ti jej ve druhé polovině 15. století upravovali pro občasný pobyt a snad i jako sídlo hospodářského úředníka. Toto kostkovské sídlo tvoří západní trakt dnešního zámku. Pro hospodářské příslušenství využili i části západního křídla klášterní stavby v sousedství kostela, dnes již zcela zaniklé.
Objekt byl nazýván zámkem již v roce 1507, kdy byl získán rodem Pernštejnů. Nevíme, zda jej stavebně upravovali. V roce 1588 jej prodali Adamu Hrzánovi z Harasova. V této době je zámek popisován jako zčásti kamenná, zčásti dřevěná budova s mnoha pokoji.
Interiéry zámku sloužily v druhé polovině 19. a na počátku 20. století jako kanceláře správy lanškrounského velkostatku. V roce 1928 získalo zámek město. Rekonstrukce zámku, započatá v roce 1940, byla dokončena v roce 1971. Budova dostala hladkou fasádu, v níž byly zdůrazněny gotické a ranesanční prvky (neomítnuté části klenebních oblouků, kamenná ostění oken a dveří, kamenická značka u rohového opěrného pilíře). V nově upravených gotických prostorách západního křídla zámku je nyní obřadní síň. V jižním křídle je městské muzeum a kulturní centrum. Po pravé straně vjezdu do nádvoří byly instalovány barokní sochy sv. Jana Nepomuckého a blahoslaveného Jana Sarkandera z mostu v Lidické ulici.
Od jara 2014 je nově zámek snadno přístupný i pro vozíčkáře, disponuje totiž novým výtahem.