La villa e i giardini poggiano su strutture terrazzate di età augustea (basamenti di templi) che a loro volta si attestavano su un’area di culto presente fin dal IV sec. a.C. La storia della villa comincia nella seconda metà del Cinquecento, quando i conti Acuti Urbani di Spello decidono di costruire una residenza signorile. Una seconda fase di radicale trasformazione è quella settecentesca, quando la principessa Teresa Pamphili Grillo ne diviene la proprietaria; tradizione vuole che si sia fermata a Spello attratta dal luogo nel corso di un viaggio fatto per dimenticare un’infelice vita coniugale. Con la trasformazione della villa viene realizzato il giardino “all’italiana” sulla più alta sostruzione romana, delimitato a monte in tutta la sua lunghezza da un muro con nicchie e fontane sovrastato dal parco di lecci.
La villa conosce un’altra fase di trasformazioni nei primi decenni dell’Ottocento quando viene acquisita da Gregorio Piermarini: il casino sorto fra il 1805 e il 1830 (denominato Casino di villeggiatura) viene progettato forse su disegno del celebre omonimo architetto Giuseppe (e poi ristrutturato nel 1931 da Cesare Bazzani con un gusto eclettico oscillante fra il barocco e il neoclassico).
Viene realizzato inoltre un giardino altamente scenografico (il Giardino vesuviano) e anche il giardino “all’italiana” è arricchito rispetto al precedente.
Dopo alterne vicende, nel 1923, la villa viene acquistata dall’ingegnere Decio Costanzi che fraziona il complesso vendendo i giardini e gli annessi alla Provincia di Perugia. Sia il Giardino vesuviano che il giardino “all’italiana”, pur mantenendo l’impianto precedente, sono rinnovati e rafforzati nel loro valore scenografico. Nel 1930, a lavori appena conclusi, Villa Fidelia diventa lo scenario per un grandioso ricevimento di nozze tra Giovanna di Savoia, figlia di Vittorio Emanuele III, e Boris III di Bulgaria, sposatisi ad Assisi.