El bosque de Valsaín fue un espacio de caza donde Enrique IV construyó un pabellón de caza, llamado la “Casa del Bosque” y otro espacio más modesto junto a la ermita dedicada a San Ildefonso en 1450, la cual, los Reyes Católicos, en 1477, la cedieron a los monjes jerónimos del Parral, que la convirtieron en una Granja de recreo. Más adelante, Felipe II mandó construir un palacio tras regresar de Flandes, bajo las órdenes de Luis y Gaspar de Vega, que recordaba al palacio de Chambord, recibiendo desde entonces a los monarcas en sus jornadas de caza celebradas durante los veranos. Este palacio se incendió en 1682 y comenzó su lenta decadencia, hasta que, en 1720, Felipe V, tras pasar tiempo de caza por la zona, compró los terrenos, casas y ermitas que los monjes jerónimos tenían en la Granja de San Ildefonso.