Nel 1560 prese avvio il progetto di ampliamento dei giardini del Castello. L’opera si deve probabilmente all’architetto Francesco Paciotti da Urbino, attivo presso la corte ducale di Emanuele Filiberto di Savoia. Secondo il modello del ninfeo imperiale romano, venne realizzata una grotta artificiale nel versante collinare, rivestiappta da mattoni, rovvigionata da una grande cisterna sotterranea e incorniciata da vegetazione spontanea.
Attualmente l’accesso al Ninfeo avviene attraverso la sede della Società Bocciofila Rivolese sorta nel 1897, che vanta il primato di essere la più antica in Italia e di aver dato origine alla Federazione Italiana Bocce.