Foi conquistado aos mouros no reinado de D. Afonso Henriques, primeiro rei de Portugal, recebendo aí carta de foral. As obras, então decorrentes no castelo, tiveram a participação dos Templários. Em 1198 é cercado pelos leoneses e recebe socorro de Linhares. O castelo é reedificado nos reinados de D. Dinis e D. Fernando. Em 1762 é assaltado por espanhóis e em 1810 é quartel-general dos exércitos francês e luso-britânico, aquando das Invasões Francesas.

É um castelo de arquitectura militar, de montanha e românico-gótico.

Apresenta recinto muralhado fechado, de traçado circular irregular, correspondendo à Cidadela.