Tvoří součást řadové zástavby domů. Situován je uprostřed náměstí, téměř naproti radniční věži. Patří mezi nejstarší a nejhodnotnější domy města a díky zachovalé původní výzdobě fasády a části interiéru i mezi skvosty renesanční městské architektury v Čechách. Svým stylovým pojetím odkazuje na umělecký okruh Pernštejnského dvora v Pardubicích. A právě díky svému uměleckému významu byl již v roce 1958 prohlášen za kulturní památku.

V objektu, jenž je v majetku města, sídlí Městská galerie Litomyšl, která zde pořádá krátkodobé výstavy výtvarného umění. Městská galerie v Litomyšli také spravuje prostory a expozici Městské obrazárny ve 2. patře litomyšlského zámku.

Dům U Rytířů je od ledna 2025 v rekonstrukci. Rozšířeny budou výstavní prostory galerie, vznikne zde kavárna, dům získá novou střechu a navrácena mu bude původní dispozice. V průběhu rekonstrukce bude galerie vystavovat v Městské obrazárně (červen-září), prostřednictvím výloh na Smetanově náměstí a v kancelářích na Toulovcově náměstí. Předpokládaný konec rekonstrukce je v roce 2027.

Městská galerie – Dům U Rytířů

Instituce byla oceněna v Národní soutěži muzeí Gloria musaealis:
2018 – III. místo v kategorii Muzejní výstava roku – za výstavu „Já jsem... Zdeněk Nejedlý“