Do primitivo castelo de Mirandela resta apenas a porta de Santo António, formada por um arco de 2,60 por 1,80 m. O arco, de ponto subido, em cantaria de granito e xisto, apresenta por cima um terraço de uma casa particular, que corresponderá ao que  originalmente seria a zona do adarve. Era por esta porta que se fazia a mais directa comunicação com a ponte e o rio. A rua de Santo António, onde se situa o arco, era outrora a mais movimentada e mercantil da vila. Do lado de dentro do arco ainda se notam as ranhuras que recebiam os gonzos do antigo portão ferrado. Restam ainda pequenos troços de muralha, apenas com algumas fiadas de pedra, que são visíveis na imagem, suportando o arco. Defronte desta porta havia ainda no século passado outra, com um resto de barbacã, que foi destruída em 1884, para no seu lugar se erguer uma residência da família Araújo Leite. 
O castelo, que D. Dinis mandou edificar no ponto mais alto do outeiro cingido pelo muro, erguia-se  decerto no local onde hoje se situa o Palácio dos Távoras. 

Época de Construção
Século XIII.

Cronologia
1198 — Presença de D. Sancho I em Mirandela.
1250 — D. Afonso III concede foral.
1282 — Mirandela é transferida para o local onde hoje se situa.
1291 — D. Dinis concede novo foral e delimita os limites geográficos do concelho;
c. 1295 — Criação de uma feira.
1383 / 1385 — Mirandela apoia as pretensões do Mestre de Avis.
1530 — Perca de importância estratégica, estando "A villa de Mirandela cerquada e a cerqua em partes deribada".
1706 — O Pe. Carvalho da Costa refere a vila como sendo murada, mas em que partes do muro estão em ruínas.
1715 — J. Alvarez Colmenar refere Mirandela como estando situada nas margens do rio Tuela e estando defendida por um castelo.
1874 / 1884 — Vários trechos importantes da muralha foram derrubados para se construírem habitações.