El Real Sitio se encuentra localizado en la vertiente septentrional de la sierra de Guadarrama; sus formidables bosques y sotobosques siempre gozaron de una riqueza cinegética extraordinaria, muy apreciada, desde antaño, por los diferentes reyes de Castilla, que se reservaban el privilegio de poder cazar en ellos.

 En 1.450 el rey Enrique IV de Castilla mandó construir un albergue y una ermita que se dedicó a San Ildefonso.

 En el año 1.477 los reyes Católicos donan la ermita y el albergue, además de las tierras adyacentes, a los monjes Jerónimos del monasterio del Parral, que está situado en los extramuros de Segovia.

 Posteriormente los monjes edificarán en el lugar una casa-hospedería, que con sus huertas y granja darán origen al pueblo, y al que por lo tanto se debe el nombre de La Granja, por el que es tan conocido.

 Ya en 1.700, el francés duque de Anjou, nieto del rey de Francia Luis XIV, se convierte a los 17 años en el nuevo rey de España y de las Indias, reinando con el nombre de Felipe V, inagurando así la dinastía de los Borbones en España, que perdura hasta hoy.

 Felipe V que frecuentaba estos montes, y que acabaría prendido de la belleza de los mismos, quiso construir en estos parajes un palacio con sus jardines, que se asemejara y le recordara al palacio de Versalles, donde el había nacido y se había criado.

 El proyecto y los planos del futuro palacio, son encargados a don Teodoro Ardemans, Maestro Mayor del Real Palacio y Villa de Madrid, habiendo impuesto el rey su deseo de que se mantuviera la antigua hospedería de los frailes.

 Las obras del palacio comienzan en 1.721, encomendando su ejecución al aparejador Don Juan Román. Prácticamente al mismo tiempo que las obras del edifico del palacio, comenzarán las obras para el trazado de los jardines. Se hacen cargo de la dirección de los mismos, el escultor Renato Carlier y el jardinero Esteban Boutelou.

 Del diseño y la fabricación de las fuentes y de las esculturas que adornan estos jardines, se hicieron cargo un elenco de reconocidos escultores, entre los que destacan; Renato Fremin, Juan Thierri, Santiago Bousseau, Humberto Demandré, y Pedro Pitué entre otros. 

 Algunos acontecimientos históricos acontecidos en la Granja de San Ildefonso:

 1.765.  Boda entre Carlos IV y María Luisa de Parma.

 1.763.  El rey Carlos III, firma en el palacio el  decreto con el que se crea la primera loteria oficial de España. El primer sorteo, que se celebró el 10 de diciembre de aquel año en la plaza de San Ildefonso de Madrid. 

 1.783. Carlos III ordena construir un nuevo cementerio a las afueras del casco urbano en un lugar distante un kilómetro de la población. Convirtiéndose así en el primer cementerio extramuros de España y posiblemente de Europa. También fué construido el hospital de San Fernando, igualmente es el primer hospital extramuros.

 Firma de los tratados de San Ildefonso.

  - 1.742. Firmado entre España y Dinamarca, tratado de amistad y cooperación en navegación y comercio.

  - 1.777, 1.796 y 1.800. Básicamente son alianzas militares entre España y Francia, enfocadas a luchar conjuntamente contra Inglaterra.

 1.836. La "sargentada", sublevación de la guarnición del Palacio que obligó a la regente María Cristina de Borbón a restablecer la Constitución de 1.812.

 1.913. 20 de junio, el nacimiento de Don Juan de Borbón en el palacio, padre de Don Juan Carlos I y por tanto abuelo del actual rey Felipe VI. 

 1.937 Durante la guerra civil española, en las cercanías de La Granja se desarrollo una ofensiva republicana, que estuvo cerca de tomar el municipio, siendo fustrada por las tropas del bando nacional.