Il cardinale Cristoforo Madruzzo e il suo coadiutore, il futuro vescovo Johann Thomas von Spaur, fecero costruire il Palazzo Vescovile intorno al 1570 dal capomastro Johann Jakob de Quadria. Già in epoca rinascimentale il palazzo era dotato di un giardino, ma quello attualmente visitabile, ripristinato di recente dalla Soprintendenza di Bolzano, si basa su una planimetria del 1831.
Il limitato spazio è racchiuso da edifici e muri di cinta ed è articolato in quattro comparti geometrici divisi da viali con al centro una ottocentesca fontana in bronzo. Le aiuole, che richiamano la tradizione rinascimentale, ospitano sia piante da fiore ornamentali, sia piante officinali e commestibili. Le parti più interne delle aiuole sono destinate a erbe e ortaggi, mentre nei riquadri angolari vi sono erbe aromatiche, medicinali e afrodisiache. Le aiuole sono circondate da basse siepi di bosso e nei bordi crescono rose antiche e inglesi, miste a lavanda, gipsofila, speronella e diverse specie di graminacee. Richiamano la tradizione dell’ars topiaria alcune piante di tasso sagomate in forma conica, mentre negli angoli sono disposte in vaso piante di arancio amaro, di alloro e di margherite. Nel lato sud del giardino due alberi di Ginkgo biloba, non presenti nella disposizione originaria, sono stati conservati perché inconsueti in queste zone. A sud vi è un vasto pomario di tre ettari, documentato fin dal Medioevo e cinto da muri. Al suo interno vi sono due singolari padiglioni angolari cinquecenteschi, ricostruiti tra la fine del XVIII e l’inizio del XIX secolo. Dalle stanze affrescate al piano superiore si gode una vista panoramica.