La villa, cinta da un paesaggio collinare agrario e boschivo pressoché integro, è costituita da due edifici. Il primo, dalla forma quadrangolare e con un’alta torre, fu voluto da Alessandro Sforza, signore di Pesaro; ultimato nel 1469, deve il suo nome a una visita dell’imperatore Federico III. La seconda costruzione, detta “Imperiale Nuova” e collegata alla prima mediante un passaggio aereo, venne realizzata per i duchi Della Rovere nel XVI secolo dall’architetto urbinate Girolamo Genga.
La sua conformazione, a recinto quadrangolare che emerge dal declivio del colle, contiene tre terrazzamenti interni: i due superiori destinati a giardino, mentre il cortile alla quota inferiore fu lasciato libero per spettacoli e rituali di corte. Geometriche aiuole disegnate dal bosso evocano ancora la ricchezza della sistemazione cinquecentesca, mentre il “selvatico”, la macchia naturale, abbraccia la porzione superiore. Un sistema di terrazze con altane, inserite nella porzione di edificio rivolta a valle, permette di godere della estesa vista della valle del fiume Foglia, delle colline e degli Appennini che sfumano all’orizzonte.
La villa è stata, nel tempo, proprietà di diverse famiglie aristocratiche: i Medici, gli Albani e, infine, i Castelbarco Albani che l’hanno più volte restaurata nel secolo scorso.