Assim que, desde logo foi necessário ocupar com uma guarnição a colina de S. Neutel, aí se abrindo trincheiras em terra batida, que rudimentarmente substituíssem um forte.

          Depois, em 1664, foi iniciada a construção de um verdadeiro forte, dirigida pelo sucessor de D. Rodrigo de Castro: o general Andrade e Sousa.
          O de S. Francisco é o mais simples.  Inspirado no sistema Vauban, é uma estrela de 4 pontas, tendo em cada uma delas um baluarte.  A planta é todavia quadrangular, com faces de 130 a 150 metros.
          As muralhas são todas graníticas, com cerca de um metro de espessura.  A altura varia com a inclinação do terreno onde estão implantadas, sendo a mínima de cerca de 4 metros e a máxima de perto de duas dezenas.
           A entrada principal está virada a sul, tendo uma ponte levadiça sobre um fosso que actualmente não existe.  Há outras portas, a leste e a oeste.  Para aceder ao interior atravessa-se um túnel, que desemboca no centro do forte. Neste forte esteve já instalada uma cadeia e um depósito de pólvora.
          O forte de S. Neutel não estava ligado ao sistema defensivo de Chaves pelo que os seus construtores tiveram que dotá-lo de uma segunda muralha, exterior, e de um fosso interno, inspirado no sistema Vauban.
          Acompanha as irregularidades do terreno, é também de planta quadrangular, tendo igualmente nas esquinas baluartes salientes, de forma afiada, a avançar sobre o fosso.  Este, não tem nem nunca teve água, já que não era essa a sua função.
          Por exigência deste fosso, o acesso ao interior do forte faz-se por uma ponte, de pedra sólida, que liga a porta da muralha externa, já um pouco degradada, à porta do forte propriamente dito.  Esta última está ainda bem conservada, tendo na sua continuação um túnel, como é habitual nos fortes construídos de acordo com os parâmetros do sistema Vauban.
          As muralhas têm de um metro a um metro e meio de espessura, tendo de altura de 7 a l0 metros.  São graníticas na sua totalidade.
          Dentro existe ainda a pequena capela de Nossa Senhora das Brotas, onde se realiza anualmente uma romaria.