Situat dins del terme municipal d’Alfauir, el Castell de Palma consta de dos recintes fortificats de forma rectangular.
El castell de Palma es troba a l’est del nucli urbà, a la part alta d’una elevació a 233 metres sobre el nivell del mar. El seu emplaçament assegura un ampli control visual; condició determinant per a la ubicació d’un “hisn” andalusí i un castell cristià. Des del castell s’albira al nord, les serres de Falconera i Marxuquera, així com la planícia on se situa el monestir de Sant Jerònim de Cotalba, al sud els castells de Vilallonga i del Rebollet, a l’oest els castells de Borró i Vilella. El millor accés al castell és des d’Ador, pel camí de la Pedrera, que condueix fins a la pedrera d’extracció d’argiles existent en el vessant de la muntanya on s’alça. L’accés més fàcil és per la part sud.
El recinte exterior ocupa una superfície de 1438 m2 i la muralla és de tapial. Els diversos fragments documentats presenten grossors diferents, que oscil·len entre 0,60 i 1,25m. En la muralla septentrional, el mòdul de tapial és bastant homogeni, amb una distància entre línies d’agulla de 0,90 m. En el seu interior no es detecta cap estructura.
El recinte superior està situat en l’angle nord-est de l’albacar i tanca una superfície de 592 m2. En la part septentrional, el llenç es troba reforçat per dues torres: una de planta circular, amb fàbrica de maçoneria, en mal estat de conservació i una altra construïda amb tècnica de tapial. L’únic accés a l’interior d’aquest recinte es troba a l’interior de la torre rectangular. Entre les torres existeixen vestigis d’un aljub de planta rectangular (4×8,50m.) i construït en tapial.
El pacte entre l’alcaide del Castell de Bairén i Jaume I, en 1239, va determinar la rendició dels castells del seu entorn. Entre ells, del Castell de Palma, que passaria a formar part de les possessions reals, així com les alqueries de Palma, Ador i Navessa.
El castell de Palma seria utilitzat com a moneda de canvi i aval de deutes reals, així mateix, la seua propietat experimentaria nombrosos canvis. La vegetació que cobreix la muntanya on se situa canvia segons l’orientació. En la solana, parcialment coberta amb cultiu, la vegetació és densa i de matoll baix. Els cultius d’aquest vessant són l’olivera, l’ametller i garrofers. En l’ombria la vegetació és més variada, encara que predomina una densa pineda.