Em 960, o castelo de Numão pertencia, juntamente com outros, a D. Châmoa Rodrigues que o doou ao convento de Guimarães, através de sua tia, a Condessa Mumadona. Deve, entretanto, ter sido ocupado pelos mouros, pois, segundo alguns, Numão terá sido reconquistado por Fernando I, o Magno, de Leão, em 1055.

A sua planta é de configuração irregular e quase não apresenta ameias; possui três portas (a do Poente, a do Arco e a de S. Pedro), torre de menagem e mais quatro torres.

O castelo primitivo deve ter sofrido bastante nas lutas com os mouros, levando a que nele se realizassem obras de melhoramento, em 1189, no reinado de D. Sancho I.               Vestígio ainda dessa época - século XII - é um Cristo de bronze esmaltado, de Limoges, que pode ser apreciado em Numão e testemunhará a presença de cruzados franceses nas lutas contra o Islão.

A  Igreja de Santa Maria, construída dentro do castelo e hoje em ruínas, apesar de tantas adulterações sofridas ao longo dos tempos, mostra bem a sua traça românica.

Extra-muros existe uma Necrópole com sepulturas cavadas na rocha, junto às ruínas da antiga Capela (ou igreja) de S. Pedro.

É monumento nacional, conforme Decreto-Lei de 16/6/1910                .