El castillo de Carcabuey ha sido a lo largo de la historia lugar privilegiado desde el punto de vista estratégico y militar para el control de todas las vías de comunicación de la comarca de la Subbética, ya que en el confluían los caminos que servían de comunicación a cinco provincias andaluzas.
Se eleva sobre un promontorio rocoso que domina el pueblo y al que le da su nombre, el Cerro del Castillo, en el que se han encontrado restos y vestigios de ocupación humana en todos los periodos históricos, pudiendo remontarnos en el tiempo hasta, al menos, el Bronce Pleno como lo atestigua el hallazgo de una espada de bronce (1200 a C) conservada actualmente en el Museo Británico de Londres o una urna de cerámica del tipo Cruz del Negro (800 a C) que se halla en el Museo Histórico de Priego de Córdoba.
En época islámica fue objeto de incursiones de Ibn Hafsun, a finales del Emirato, siendo dominado y demolido por el emir Add-Allah en el 892. Conquistada la plaza por Fernando III, fue reedificado según modelos de otras fortificaciones, como las de Fuengirola o Iznajar. Desde mediados del siglo XIII perteneció a la Orden de Calatrava, hasta que en 1333 fue conquistado por Muhammad IV de Granada y reconquistado y modificado poco después por Alfonso XI, integrándose, tras múltiples donaciones en el Señorío de Aguilar.
La planta del recinto es un polígono irregular de 12 lados, adaptada a la agreste orografía del lugar. La fortaleza cuenta con cinco torres distribuidas a lo largo de la muralla, de las que dos son cuadradas y tres circulares, en el interior del recinto amurallado aún se conserva la torre del homenaje. En la parte alta del patio de armas encontramos la ermita de la Virgen del Castillo, construcción del s. XVIII en la que alberga la imagen de la Virgen del Castillo, patrona de la localidad, que celebra su festividad el día 8 de Septiembre de cada año.
La puerta actual de acceso a la fortaleza está levantada sobre un muro de contención que podría estar construido con mampuestos reutilizados de la fortaleza, no es probablemente la original. Existe otra en el lienzo sur, que es más bien un portillo de acceso oculto, que ha estado cegada durante mucho tiempo y ha sido descubierta en su parte interior mediante una excavación efectuada recientemente. Este Castillo por tanto, no es adscribible a un único periodo histórico; escenario de complejos avatares políticos y religiosos, de duras batallas y, también de leyendas singulares, los restos que hoy conocemos son el resultado de numerosas construcciones, demoliciones y reconstrucciones.