Construído sobre escombros de um posto de vigia Romano, o castelo apresenta uma imensa vista sobre a toda a vila, desde a povoação às montanhas que a encerram. Sobreviveu a dois terramotos e vários reis que foram, no entanto, deixando a sua marca,transformando-o numa obra arquitectónica singular.
Conquistado aos mouros por D. Afonso Henriques, em 1148, o Castelo teve D. Fuas, o bravo cavaleiro, como seu primeiro alcaide.
Primeiramente ampliado pelos árabes, o castelo foi novamente remodelado, já em posse portuguesa por D. Sancho I e completamente restaurado, no século XIII, por D. Dinis.