Questa chiesa fu costruita grazie alle offerte dei fedeli a seguito di un miracolo legato ad una immagine della Vergine che sorgeva nella zona. L'edificio attuale ha sostituito una costruzione più semplice eretta dai frati serviti ai quali sin dal 1313 apparteneva il luogo. Un'immagine della Madonna, dipinta sul muro dell'orto dei religiosi, fu riprodotta in carta da Lelio Orsi (1569) e ridipinta da Giovanni de' Bianchi detto il Bertone (1573) e nel 1596 traslata in una cappelletta. Le cronache dell'epoca riportano la vicenda di un sordomuto, un certo Marchino da Castelnovo Monti, che avrebbe riavuto l'uso della parola e dell'udito in seguito a un miracolo della Vergine. Sei giorni dopo, il 5 maggio 1596, sarebbe avvenuto un altro miracolo, con l'improvvisa guarigione di una donna, Margherita, detta Caugliana dal paese d'origine del marito, inferma da diciotto anni. Un monumento marmoreo esterno con l'iscrizione Ut posteri notus foret ecc., a sinistra di chi osserva la facciata, indica il luogo preciso dove era l'immagine.