O castelo localiza-se na encosta Sul da serra do mesmo nome.

Em 1220, D. Afonso II reconquista a povoação e, de seguida, faz doação da mesma à Ordem de Santiago.

Penha Garcia recebe carta de foral por D. Afonso III em 1256 e verifica-se uma hipotética doação à Ordem de Santiago após a reconstrução das fortificações por D. Dinis.

Em 1836 extingue-se o concelho e inicia-se um processo de degradação.

Este castelo encontra-se sobranceiro ao vale do rio Pônsul numa posição majestática. Em 1303 D. Dinis manda reconstruir as fortificações e, em 1510 recebe novo foral de D. Manuel I.

Antiga fortaleza, Penha Garcia foi até finais do séc. XVIII, couto de homiziados ( 1790 ).

Penha Garcia terá sido, em tempos remotos, um povoado neolítico, substituído posteriormente por um castro lusitano e depois povoação romana, ao que parece, de certa relevância. No séc. IX, com a instauração do domínio Árabe na Península, toda a civilização romano-visigótica obscureceu. Foi tomada aos “mouros” por D. Afonso II em 1220, tendo sido doada aos cavaleiros da Ordem de Santiago com a condição de reconstruírem o castelo e a cerca amuralhada e providenciarem a sua defesa e repovoamento. D. Afonso III deu-lhe foral, no ano de 1256, em Proença-a-Velha, com os usos e costumes da vila de Penamacor. D. Dinis doou Penha Garcia, no ano de 1300, à Ordem do Templo. Depois desta ser extinta passou para a Ordem de Cristo onde permaneceu. Foi couto do reino e de homiziados até ao séc. XVIII. A vila terá perdido a sua autonomia municipal e importância para Idanha-a-Nova em 1836, na mesma época em que o fizeram outros povoados, como Idanha-a-Velha e Monsanto, que agora integram o seu concelho.

A história milenar de Penha Garcia, acima resumida, foi fortemente condicionada pela posição estratégica ocupada, no alto das fragas da Serra do Ramiro, dominando os vastos planos que caracterizam a fértil Cova da Beira e a campina raiana, tendo-lhe sido conferido durante séculos o estatuto de praça de guerra. O ouro deverá ter sido a outra razão pela qual as comunidades humanas aqui se fixaram e permaneceram por largos séculos. Assim, a evolução de Penha Garcia como espaço humanizado confunde-se com o substrato alcantilado sobre o qual assenta. O próprio nome do povoado que chegou aos nossos dias, bem como a toponímia de algumas ruas (e.g., Rua do Penedo ou Rua do Mirante) salientam a omnipresença dos cumes fragosos. Mas estas rochas, de natureza sedimentar, têm para revelar uma história bem mais antiga do que aquela que as ruínas ou os documentos possam contar.

Trata-se de uma povoação muito antiga, com povoamento neolítico, foi castro Lusitano e povoação Romana. Depois da Reconquista, D. Afonso III atribui-lhe foral e doa Penha Garcia à Ordem de Santiago para que esta efectuasse a fortificação da zona. Tal não veio a acontecer e D. Dinis retira-se dessa ordem a favor da Ordem do Templo e posteriormente, para a Ordem de Cristo. Foi couto do reino e de homiziados, até ao séc. XVIII e sede de concelho até 6 de Novembro de 1836.

Do castelo, edificado pelos Templários sobre o castro romano, restam fragmentos de muralhas em bom estado de conservação. A partir daqui, desfruta-se de uma vista sobre toda a campina Raiana, barragem e Vale Feitoso, que de certo jamais esquecerá.

As ruas labirínticas compostas por pequenas casas de xisto e de gorrão estão cobertas de flores. O Pelourinho do reinado de D. Sebastião, o canhão que jaz à soleira da porta, a Igreja Matriz que guarda no seu interior uma verdadeira jóia - a imagem de Nossa Senhora do Leite (de 1469) esculpida em calcário de ançã, o esplêndido pão caseiro e os bolos de azeite (bicas), são outros dos atractivos desta bonita freguesia.

As fragas da Serra de Penha Garcia são um verdadeiro oásis para os paleontologistas, geólogos e apaixonados da natureza pois, facilmente encontramos inúmeros fósseis marinhos. A água da barragem de Penha Garcia é de excelente qualidade e é uma das que abastece todo o concelho.