En la gran roca que divide las dos playas se asentaba la fortaleza que servía de defensa ante las incursiones de piratas argelinos y berberiscos en los siglos XIV, XV y XVI. Posteriormente el Castillo fue abandonado, quedando en la actualidad sólo algunos restos de las murallas, que permanecen sobre las rocas del mirador, conocido también como el balcón del Mediterráneo