Es considera obra de Francisco Gilabert de Centelles, Comte d’Oliva.
Sobre la muntanyeta de Santa Anna, aquesta es troba enclavada en el casc urbà d’Oliva.
Als S. XVI-XVII les poblacions de la costa valenciana patiren diferents atacs per parts de turcs i berbers que arrasaren cultius i saquejaren pobles. Açò portà que el 1528 les Corts de Montsó van acordar la construcció d’un sistema de defensa del litoral, al mateix temps que la creació d’una guàrdia. Amb la mateixa intenció el Rei Felip II, en 1575, va encarregar al virrei de València, Vespasià Gonzaga i Colonna, un estudi de defensa del litoral. El seu informe es refereix a les fortificacions d’Oliva en aquests termes: “Oliva es lugar mal cercado con cubillos antiguos. Y tiene morería no cercada. Dentro ay gente de lustre y castillo en el lugar, que es más casa llana. En lo alto sobre montecillo tiene otro castillo de poca substancia que de muro gruesso y nuevo es a manera de tabla cuadrada con dos cubos redondos en las dos esquinas. Tiene poco agua dentro, y aunque procuraron de tener pozo no llegaron donde era necessario, cosa es de poco fundamento; tiene algunas piezas de metal buenas del propio Señor y una media culebrina que a no estar sentida era muy gentil pieza y bien labrada; está un tercio de lengua de mar”.
El castell es va edificar en el lloc on abans estava l’ermita de Santa Anna, la qual era anterior a la segona meitat del segle XVI. El document abans referit fa esment al caràcter inacabat del castell, mentre que al cub nordoest li falten les voltes i el parapet, l’altre al sud-est està conclòs.
Santa Anna, així com la remodelació de les muralles de la ciutat i el palau dels Comtes, es considera que són obra de Francisco Gilabert de Centelles, Comte d’Oliva. Se suposa que la data de 1546 que apareix a la inscripció que encara perdura i que provenia del Palau, és justament el moment quan acaba la construcció.
El castell de Santa Anna es troba en el cim del promontori calcari de la muntanyeta que li dóna nom. Tanca pel sud el traçat de la ciutat medieval i moderna, assegura la guaita de les comunicacions i permet una perfecta visualització del mar. A més proporciona un estimable control de bona part del Raval o moreria, que quedava emmarcat entre les muralles de la ciutat amb el Palau dels Comtes d’Oliva i el mateix castell.
Es tracta d’una construcció de planta rectangular de 43,50 x 34,70 metres de costat, reforçada per dues gruixudes torres de planta circular. Les torres estan orientades cap a dos punts oposats, una cap al nord-oest, on es troba la ciutat i l’altra cap al sud-est, flanquejant el camí d’accés i l’entrada a la fortificació.
Dins de la fortificació, al mig del pati encara queda a la vista un aljub de planta rectangular, amb volta de canó i fàbrica de maons. A pesar que aquest aljub es pot datar al moment de la construcció de l’edifici, la seua coberta pertany a un moment posterior, quan una reparació va exigir la seua substitució, per la meitat del segle XVIII. Al costat de l’aljub, resten petjades de diversos murs que evidencien l’existència de construccions habituals per a funcions d’allotjament de la guàrdia o magatzems de pólvora, entre altres.
A l’interior de la fortificació resten uns murs procedents de l’ermita de Santa Anna. Aquesta és una nova ermita amb la mateixa advocació que la que va existir abans de l’alçada del castell. L’edifici de planta rectangular, tenia tres naus: la central amb cúpula. Davant de la porta d’accés tenia un porxo orientat cap a l’oest. La seua construcció segons alguns autors va haver de ser l’any 1747. (Font: C.Pérez-Olagüe)