Anticamente dove oggi sorge il santuario, all'incrocio di storici sentieri colleganti alcune borgate della valle, nel luogo detto del Garbazzo sorgeva un essiccatoio per le castagne, proprietà della famiglia David. Sul muro esterno di questo essiccatoio il parroco Pietro Paolo David fece dipingere, si ignora da chi, un'immagine sacra della Madonna col Bambino seduta su un trono; l'immagine veniva anticamente chiamata "Madonna del Garbazzo" poiché accanto al seccatoio era presente una grossa buca - garbo nel dialetto locale - dalla quale scaturisce una fontana, ma anche "Madonna delle Tre Fonti" perché il Deserto è una zona ricca di acqua e di sorgenti.
Secondo la tradizione popolare, tramandata oralmente ancora oggi, proprio nei pressi del seccatoio avvenne nel 1726 il primo miracolo attribuito alla Vergine Maria. Si racconta di un viaggio che una donna intraprese con il proprio figlio - nato cieco - dal borgo natio di Finale (oggi Finale Ligure) verso Ceva per far visitare il figlio da un medico nell'ospedale della cittadina piemontese. Giunta nei pressi del seccatoio verso sera, la donna si fermò per riposare e rivolse all'immagine della Madonna dipinta sul muro la protezione per la prosecuzione del viaggio e - forse - la guarigione del figlio. Secondo la tradizione e devozione religiosa, il figlio inspiegabilmente il mattino seguente ottenne il dono della vista.