Ens trobem enfront d’una fortificació d’època musulmana que apareix referenciada al Llibre dels Fets, de Jaume I.
El castell es troba al cim d’una penya de 240 metres d’altitud envoltat per diverses penyes, com són la penya Esclusa, a l’oest, el Picaio, al nordest, la Planícia al nord i l’Alt de la Planícia a l’est. Per la part est i oest baixen dos barrancs anomenats Blanc i de l’Atanassi respectivament, que aboquen en el riu Vernissa, el qual es troba al sud del castell.
Com els castells de Vilella, Palma i Vilallonga, Borró estarà vinculat al de Bairén.
El recinte emmurallat comptava amb uns 3.700m2, i no sembla que després de la conquesta cristiana patira cap canvi substancial. Hui en dia encara podem observar al final de la senda, que ens portarà fins a ell, la primera torre rodona alçada en maçoneria i amb una gran espitllera apuntant cap a nosaltres. Al costat nord de la torre i seguint cap a l’est existeix una gran i llarga muralla, mig enderrocada, que suposem que degué ser l’únic accés al castell.
Franquejant l’entrada, a la part est, s’alça una torre quadrada de dimensions mitjanes i una altra muralla d’un metre d’amplària aproximadament que continua a l’est seguint el relleu i aprofitant el penyasegat com a defensa natural. Una torre hui desapareguda, de la qual són visibles les restes de la fonamentació es troba en la part est de la penya, simètricament situada respecte a l’altra torre rodona respecte al centre de la plataforma. En la part central del recinte emmurallat es troben unes construccions fetes amb tapial d’una amplària menor, exceptuant l’aljub que posseeix murs amples per evitar que filtre l’aigua.