O principal motivo de interesse deste castelo gótico medieval é a sua torre heptagonal em "opus vittatum", que os habitantes de Freixo designam de torre do galo ou torre do relógio,  e a que se tem acesso por uma porta de arco quebrado. No interior está dividida em três pisos com abóbada em arcaria, com escada de acesso interior, iluminada por pequenas frestas rasgadas nas faces da torre. No alto da torre observamos um parapeito sustentado por uma cachorrada de tipo borgonhês. O conjunto termina com uma torre sineira quadrangular, com cobertura em forma de agulha, tendo nos cunhais pequenas pirâmides boleadas. 
Das muralhas originais restam apenas alguns panos que circundam o actual cemitério e que estão em bom estado de conservação.