Il palazzo si deve alla committenza di Tiberio Crispo, potente governatore locale legato alla famiglia Farnese, che ne affidò la progettazione a Raffaello da Montelupo e Simone Mosca tra il 1541 e il 1554. La struttura severa si accompagna a elementi raffinati quali la Loggia Paolina a cinque arcate (così chiamata in onore di Paolo III Farnese che vi soggiornò), che permette di spaziare con la vista sul grande lago vulcanico. Alle aperture scenografiche delle architetture fanno riscontro sale riccamente arredate e decorate con affreschi dovuti a Prospero Fontana, Perin del Vaga e Pellegrino Tibaldi, seguaci di Raffaello. Risulta dai documenti che già in origine il palazzo era dotato di un giardino pensile e di un secondo giardino circondato da muri, ma l’assetto attuale è dovuto, in anni recenti, a Giovanni del Drago, la cui famiglia è entrata in possesso del complesso nell’Ottocento. All’ingresso si viene accolti da un bel giardino con aiuole regolari bordate da siepi di bosso dove fioriscono le rose ma, soprattutto, fa bella mostra una collezione di ortensie dagli splendidi colori. Il terrazzamento superiore ha un disegno formale che, nonostante le dimensioni modeste, richiama l’assetto del giardino “all’italiana” con piante potate ad arte e belle fioriture. Due grandi piante di bosso topiate in vaso sono poste ai lati di una nicchia rustica a muro con una statua al suo interno, mentre lo spazio antistante si articola attorno a una vasca circolare con ninfee. La terrazza più alta è ombreggiata da una pergola di vite. Completano il fascino del luogo i raffinati arredi, tra i quali pregiati vasi in ceramica policroma.