Území horské vsi bylo vyhlášeno vesnickou památkovou zónou v roce 2016. Jedná se o první vesnickou památkovou zónu v
Orlických horách s převážně roubenou zástavbou.
Kačerov představuje z památkového hlediska velmi hodnotnou lokalitu. Zastoupeny jsou především přízemní chalupy tzv.
východosudetského typu z přelomu 18. a 19. století s chlévní dispozicí, roubenými světnicemi a zděnými zadními částmi, bedněnými štíty a přístavky. Vzácně se zachovaly i detaily okének ve štítu s typickou stříškou a další prvky charakterizující roubenou architekturu Orlických hor.