Il complesso costituisce forse la miglior sintesi fra architettura e natura nell’ambito delle residenze sabaude piemontesi, giunto a noi nella sua affascinante integrità. Realizzato già alla metà del XVII secolo per i marchesi di San Martino, viene acquisito nel 1765 dai Savoia per trasformarlo in residenza di campagna del figlio di Carlo Emanuele III, Benedetto Maurizio duca del Chiablese. Michel Benard, direttore dei Reali Giardini, e l’architetto regio Birago di Borgaro realizzano (1767-75) una composizione di grande respiro, inglobando i percorsi e i livelli preesistenti. Xavier Kurten, a partire dal 1829, ridisegna “all’inglese” il grande parco, ma l’impianto formale rimane inalterato nella zona del giardino vero e proprio, nei pressi del palazzo; ed è questa zona a offrire ancor oggi il retaggio del giardino “all’italiana” seicentesco: il giardino pensile su cui si affacciano la serre, quindi il giardino inferiore, raggiunto dai grandi scaloni, con le grotte ornate da telamoni, le pareti a scarpa che lo cingono ricoperte di rampicanti, lo strepitoso parterre neobarocco ottocentesco e il grande bacino circolare provvisto di alto getto.  Sulle terrazze sono collocati gli agrumi in cassa che provengo dai giardini del Palazzo Reale di Torino. Il parco, ricco di percorsi ondulati, con una grandissima radura erbosa centrale vede, al fondo, un piccolo lago con isolotto e imbarcadero. Non distante da questo sono alcuni resti antichi provenienti dagli scavi effettuati alla villa “La Ruffinella” di Frascati che mettono in scena il tema della rovina. Sul lato destro del parco un cancello apre la vista verso la Cascina dell’Allea, la cui facciata è pensata come quinta architettonica scenografica.
Il castello e i giardini di Agliè sono stati eccezionale scena per la fortunata serie televisiva Elisa di Rivombrosa (2003-2005).