Monumento principal de la localidad y santo y seña de ella, se encuentra junto al Ayuntamiento, formaba parte de una fortaleza compuesta por una torre del homenaje central, alrededor de la cual se construyó un antemuro rodeado de un foso. En su interior, había un patio interior compuesto de una plaza de armas y de una barbacana con torres defensivas en las cuatro esquinas.
En el siglo XVI, Gonzalo Chacón y Fajardo, nieto de Gonzalo Chacón, realizó modificaciones en las instalaciones de la fortaleza, añadiendo dependencias como cocinas y caballerizas, y otros elementos defensivos como saeteras. Ya en el siglo XVII, el muro de la fortaleza fue desmantelado y colmatado el foso. Sin embargo, la torre se siguió utilizando con diversas funciones como cárcel, calabozo, tienda, granero o taberna.