Il giardino si presenta a prima vista come un hortus conclusus, pur mantenendo un costante rapporto sia con le mura e la passeggiata alberata, sia con il contesto urbano.
Nella seconda metà del Seicento la famiglia Moriconi inizia la costruzione del palazzo e dà avvio alla realizzazione del giardino. Alla fine del secolo la famiglia dei Controni, mercanti della seta subentrati ai Moriconi, arricchisce il complesso con la costruzione dello splendido scalone esterno, la cui paternità è contesa fra Filippo Juvarra e Domenico Martinelli, filtro scenico fra il palazzo e il giardino.
Lo scenografico giardino di inizi Settecento è attribuito a Juvarra. Il settore centrale è disposto sull’asse prospettico individuato da statue di divinità ed eroi mitologici. Ai lati dell’ingresso, in due nicchie, sono le statue della “Magna Mater” Cibele e di Ercole, custode del giardino delle Esperidi. Al centro è la grande vasca ottagonale con i Quattro Elementi (Vulcano è simbolo del Fuoco, Mercurio dell’Aria, Dioniso della Terra, Oceano dell’Acqua). Sullo sfondo, lungo la linea delle mura, si sviluppa la grande Limonaia dall’elegante prospetto in mattoni ritmato da finestroni alternati a siepi di alloro. Sulla balaustra sommitale due leoni (attributi di Cibele) si affiancano al basilisco, emblema dei Controni. L’altro settore del giardino è formato da ampie superfici a prato con numerose conche di limoni, alcune delle quali recano la data 1843. Ai lati del giardino formale sono alte siepi topiate di alloro e bosso e due boschetti di bambù di origine ottocentesca, quando la proprietà è acquistata da Felice Pfanner, industriale di origine tedesca che nel 1856 vi impianta una birreria attiva fino al 1929.