O castelo, desfeito na malha urbana, sucumbiu ao desuso. Edificação árabe, tomado pelos cristãos que em 1189 demandavam Silves, logo perdido, só no alvor de quatrocentos seria recuperado ao sabor cristão e apetrechado com artilharia.
A feição plebeia da vila não atraiu a nobreza portuguesa.
Todavia, a história da vila ficaria ligada à acção directa de alguns monarcas. D. Dinis ordenou a reedificação do castelo, D. Fernando conferiu-lhe jurisdição independente apesar da sua integração no termo de Silves. D. João II aqui viria a falecer quando repousava da sua viagem às Caldas de Monchique em busca de cura para o estranho mal que o afligia. D. Manuel, em homenagem ao Príncipe Perfeito confere-lhe o estatuto de vila e desanexa-a do termo de Silves.^