Cuando Jaime I entró a la ciudad, desechó usar las antiguas dependencias de los reyes musulmanes, el Alcázar, situado aproximadamente donde encontramos hoy el Almudín. Por ello utilizó como residencia personal el palacio de recreo de nobles musulmanes, alejado del centro de la ciudad, sobre una antigua almunia, riyad o rahal, que era una finca de cultivo con una sola edificación para administrarla, en contraposición con las alquerías que eran pequeñas comunidades rurales. De ahí etimológicamente se latiniza como “real”. De esta manera el nombre no es por ser residencia de reyes, sino que es una corrupción de una palabra de origen árabe.

Escoger un lugar extramuros y al otro lado del río suponía toda una temeridad, puesto que estaba situado en un llano, fuera de la protección de las murallas lo que suponía un coste en su defensa además de constantes reformas que recibía al estar expuesto a cualquier ataque. No fue hasta 1280 cuando su hijo Pedro III realizó una primera gran reforma.

Pedro el Ceremonioso amplió y fortificó el palacio añadiendo nuevas estancias, lo que posteriormente se conoció como “Real Nou”. Los siglos posteriores siguió adaptándose a las necesidades del momento, unido a las numerosas riadas que también dañaban el palacio, acrecentaban su aspecto carente de homogeneidad. A partir del siglo XVII el palacio se empezó a deteriorar por falta de uso. Y las razones estaban claras: era excesivamente grande, costoso de mantener y alejado de la ciudad

El punto y final del palacio lo encontramos en los ataques Napoleónicos a la ciudad. Debido a la posibilidad de que fuera ocupado por el general francés Suchet como lugar para organizar el ataque, fue derribado preventivamente el 12 de marzo de 1810. Sin embargo, no tuvieron tiempo de hacerlo por completo y los franceses lo usaron igualmente como lugar desde el que disparar su artillería, lo que fue una auténtica chapuza, pues no sirvió sus propósitos militares pero lo dejó inutilizado para su posterior uso civil. Los restos que quedaron fueron amontonados y cubiertos por la tierra, lo que dio lugar a las conocidas como “montañas del General Elío”.