Do primitivo Castelo Almorávida/Almóada resta, praticamente intacta, a torre albarrãn em taipa (Torre da Vela) situada na antiga Rua da Corredora. Em 1249, D. Afonso III auxiliado por D. Paio Peres Correia, Cavaleiro e Mestre da Ordem de Santiago, conquista o Castelo de Loulé aos mouros fazendo a sua integração plena na Côroa Portuguesa, no momento em que concede o primeiro Foral à "Vila" em 1266. O segundo Foral foi aos mouros forros, em 1269, que tinham sido remetidos para o arrabalde a sul da "Porta de Faro", dando origem ao bairro da Mouraria no qual persistem, ainda hoje, ruelas estreitas e tortuosas e topónimos medievais como Rua da Mouraria e Rua dos Oleiros.

É interessante notar que este conjunto de factores de ordem militar político e religioso, associados à reconquista, acabaram por inverter aspectos ligados à psicologia da convivência social e alterar, de uma forma significativa, a fisionomia urbana. O interior das muralhas é o espaço urbano que permanece como núcleo político, religioso e habitacional mais importante, tendo sido enriquecido ainda, durante o reinado de D. Afonso III, com a construção da Igreja Matriz de S. Clemente, local onde se presume ter existido o culto anterior. Além da Mouraria, o arrabalde - onde avultavam ricas vinhas, figueiras, searas, pomares e hortas - foi, também, valorizado com a construção do Convento da Graça nos finais do séc. XIII princípios do séc. XIV.