A Casa da Torre de Caria tem toda a história da região dos últimos dois milénios. O próprio edifício revela a presença e o poder de instituições políticas e religiosas desde o tempo dos romanos até aos dias de hoje.
É uma casa grande, em pedra, tem três pisos e uma escadaria de cada um dos lados da porta de entrada.
A fachada não engana, ostenta a vontade de mostrar poder. A começar pelo próprio local onde foi construída. A casa está no centro histórico de Caria, numa das zonas mais nobres. Ao lado da capela de Santo António e desde os romanos que já tinha uma posição estratégica por estar situada ao lado de uma via romana.
A origem é de uma casa romana. A transformação seguinte foi a construção de uma fortaleza que teria sido o castelo de Caria. No séc. XIV foi sujeita a uma reformulação profunda que lhe deu os traços estruturantes dos dias de hoje, passando a paço episcopal dos bispos da Guarda.
A existência desta residência episcopal em Caria tem que se compreender à luz da época.
Após a invasão dos visigodos e dos mouros as dioceses ficaram desprovidas de bispos e à medida que a Reconquista Cristã alargava as fronteiras estas foram sendo restauradas numa tentativa de reorganização eclesiástica.
A Diocese da Egitânia foi restaurada em 1199, com sede na Guarda. Esta diocese teve que recuperar o território que geria antes das Invasões e acabou por ter que se debater com os Bispos de Coimbra, cuja diocese já tinha sido restaurada em 1080.
Naquela altura, os Bispos de Coimbra já tinham muita importância nesta região e quando foi restaurada a diocese da Egitânia as contendas a propósito das jurisdições foram inevitáveis, estendendo-se por longos períodos de tempo. Caria acabou por ficar sempre ligada ao bispado da Guarda desde a herança de Martim Caria e acabou por adquirir cada vez mais importância. Só assim se explica que em 1278 D. Frei João Martins tenha conseguido regalias de tipo concelho para Caria e que D. Vasco Martins de Alvelos tenha feito em 1311 testamento na sua câmara de Caria da Covilhã.
Em suma, quando os Bispos da Guarda fixaram uma residência em Caria pretendiam impor o seu poder na região, onde o poder dos bispos de Coimbra, outrora detentores do senhorio de Belmonte, ainda se fazia sentir, sobretudo, devido a possessões laicas.