Sentinela na vertente Oeste da serra da Estrela, actualmente desaparecido, erguia-se no local onde é actualmente a Igreja de Santa Maria. Permanece vivo, entretanto, no brasão de armas da cidade, onde duas torres, uma de maiores dimensões, arrematada por outra menor, representam a importância histórico-militar do castelo
Antecedentes
A primitiva ocupação humana do local da actual Seia remonta à época pré-romana, quando da fundação de uma povoação pelos Túrdulos, por volta do século IV a.C., denominada como Senna. Posteriormente fortificada pelos romanos, passou a se designar como Oppidum Senna. Foi posteriormente ocupada por Visigodos e por Muçulmanos, este últimos a partir do século VIII.
O castelo medieval
À época da Reconquista cristã da península Ibérica, a povoação foi definitivamente conquistada aos mouros por Fernando Magno (1055), que determinou edificar (ou reedificar) a sua fortificação.
À época da formação da nacionalidade portuguesa, Bermudo Peres, cunhado de D. Teresa, iniciou uma revolta no Castelo de Seia. Não teve sucesso, uma vez que o infante D. Afonso Henriques (1112-1185), tendo disto tido conhecimento, foi ao encontro dele com as suas forças e expulsou-o do castelo (1131) (Crónica dos Godos, Era de 1169). D. Afonso Henriques, no ano seguinte, fez a doação dos domínios de Seia e seu castelo ao seu valido João Viegas em reconhecimento por serviços prestados (1132). Poucos anos mais tarde, o soberano passou o primeiro foral à povoação em 1136, designando-a por Civitatem Senam.
Sob o reinado de D. Manuel I (1495-1521), recebeu do soberano o Foral Novo (1510). Posteriormente, na segunda metade do século XVI, foi Alcaide-mor do Castelo de Seia o fidalgo Diogo de Barbuda.
A partir de então não são identificadas referências adicionais a este castelo, anterior à nacionalidade.