Fue en el siglo XVII un rincón de recreo de la aristocracia. Y más tarde propiedad de la duquesa de Alba y de Carlos IV. Perteneciente al Estado desde mediados del XIX, destruido durante la guerra civil, Franco lo transformó en 1953 en residencia de visitantes ilustres. En 1977 se convirtió en la Presidencia del Gobierno