El castillo de Pena de Aguiar se remonta, según los estudiosos a la época de ocupación visigoda, fortaleza que sería ganada por los musulmanes en el siglo VII.
Está documentada su existencia en 1139 cuando Afonso Henriques, proclamo la independencia del condado Portucalense.
Esta región estuvo habitada desde la prehistoria, siendo rica en oro, plata y plomo.
El castillo fue perdiendo interés militar, y acabo siendo abandonado en el siglo XVII.
En 1982 fue declarado Monumento Nacional, siendo realizadas obras de rehabilitación a cargo del IPPAR.
Estamos ante un castillo roquero, de arquitectura romanica, dominado por dos torres, una al norte con planta rectangular, unida por una cortina semicircular a otra al sureste.
Esta segunda torre compuesta por cinco torres irregulares. En el muro oeste se abre una puerta hacia la barbacana, compuesta de grandes bloques de granito.
Una segunda apertura al norte, comunica con una plaza de armas de reducida dimensión, delimitada por ambas torres.
Existe una ruta turística, promovida por la Cámara Municipal de Vila Pouca de Aguiar, que visita el castillo, las tres minas romanas de Vila Pouca de Aguiar y el santuario rupestre de Panoias en Vila-Real.
