Fue en época islámica cuando se consolida y toma auge el actual emplazamiento de Vilches, marcado por la construcción de un castillo-fortaleza, en el cerro de la ermita de la Virgen. En 1170 los almorávides controlaban el castillo de Vilches desde el que hostigaban a los almohades que controlaban el de Giribaile. Fue ya en 1209 el maestre de Calatrava don Ruy Díaz de Yanguas quien ganó el castillo para los cristianos. Actualmente, es le ermita donde descansa la patrona de esta localidad y donde se haya también un museo con piezas religiosas donadas, la mayoría, por los vecinos de este municipio.
Asentado en un elevado cerro que delimitan las aguas de los ríos Guadalén y Guadalimar, se encuentra este viejo castillo que protagonizó célebres episodios bélicos entre almohades y almorávides, árabes y cristianos y, siglos antes, en las guerras púnicas, entre romanos y cartaginenses. Hoy quedan vestigios de la fortaleza: la torre central en tapial, parte del muro defensivo construido en tapial de argamasa, algún otro torreón macizo de mampostería irregular y mortero de mezcla y el llamado Puente de los Moros, que se corresponde con una de las puertas de la fortaleza.
