Původně
tvrz, přestavěná na zámek, byla založena zřejmě ve
2. polovině 15. století. Sloužila jako správní centrum kelečského panství, jenž odkoupil v roce 1126 biskup Jindřich Zdík od Oty Černého II. Pro
olomoucké biskupství. Během času zde pobýval například biskup Bruno ze Schauenburku, roku
1424 podlehla tvrz (i s městem)
útoku Táboritů, kteří Kelč
vypálili.
Tvrz byla přesto obnovena Janem a Benešem z Heršic, když padl jejich hrad Šaumburk. V 80. letech 16. století bylo sídlo přestavěno na renesanční zámek. Ten si nechal vystavět
biskup Jan Pavlovský. Tento biskup je jednou z
nejvýznamnějších osobností moravských dějin – rázně podporoval
prosazování katolického náboženství na Moravě, ovládané převážně protestantskou šlechtou. Proto se často dostával do sporu nejen s místními šlechtici. Stavba nákladného zámku byla například jednou z příčin
selské vzpoury v roce 1589, která byla potlačena silou. Jan Pavlovský byl však velmi schopným politikem a diplomatem. Císař Rudolf II. ho nechával například vést
diplomatické styky monarchie s Polskem.
Slibný rozkvět města ukončila až třicetiletá válka. V roce 1621 byla
Kelč několikrát
vypleněna a vypálena nekatolickými poddanými ze sousedních panství – pro sousední protestantská valašská panství bylo katolické město trnem v oku, a tak bylo několikrát vypleněno. Po biskupově smrti byl
zámek doplněn o opevnění. Toto opevnění se dobře osvědčilo v roce
1647 při
útoku švédského oddílu, který se zámek pokusil
dvakrát neúspěšně dobýt. Měšťané utekli do zámku, kde se ubránili.
Zámek po švédských válkách
Po švédských válkách zámek obnovil
biskup Karel z Lichtenštejna a Kastelkorna, o jehož stavební činnosti svědčí
erb nad hlavním zámeckým vchodem. Tyto úpravy, ač barokní, nenarušily celkový renesanční ráz zámku. Dne 17. 6. 1742 zámek vyhořel i s osmi přilehlými domy. Od té doby byl neobydlen a pustl.
Za 1. světové války byli do zámku nastěhováni
haličtí židé a měli tam i svoji školu.
Oprav se zámek dočkal teprve po roce
1928, kdy jej zakoupila
Česká zemská péče o mládež, která v něm zřídila ústav pro děti duševně úchylné
s pomocnou školou. V roce
1956 byl ústav přeměněn na
zvláštní internátní učňovskou školu. V současné době budova slouží jako
internát a učiliště a je veřejnosti nepřístupná.