Secondo lo storico Ludovico Pepe, la costruzione del Santuario della Madonna della Nova risale al 1561, al tempo del vescovo G. Carlo Bovio. Attualmente, alcuni storici, suffragati da nuovi rinvenimenti, ipotizzano che la chiesa e del 1531. Fu edificata davanti ad una preesistente cripta basiliana, ma gli ultimi affreschi rinvenuti (1996-97) e lo stile di alcune decorazioni, fanno pensare che prima della costruzione dell'attuale chiesa già esistesse un avancorpo: una piccolissima chiesetta che aveva come altare quello che ora è nella grotta. E' il più antico santuario mariano ostunese ed il culto della Vergine, presso questa chiesetta, è stato sempre vivo nel corso dei secoli. Nel XVIII sec., durante la peste che colpì anche Ostuni, fu utilizzata come lazzaretto; meta di pellegrinaggio è stata durante l'ultimo conflitto mondiale. Genitori, mogli, fidanzate e figli vi si recavano portando foto dei parenti che erano in guerra e di cui non si avevano notizie da molto tempo, con la speranza di avere la "buona novella" riguardante i loro cari. L'evento più importante che riguarda questa chiesa rupestre è soprattutto legato al tradizionale pellegrinaggio che si attua ancora oggi, nella domenica in "Albis", cioè la domenica dopo Pasqua. Gli ostunesi si recano a rendere omaggio alla Madonna della "Buona Novella" partecipando alla tradizionale festa popolare detta della "Palomma". Questo nome deriva dal dolce tipico che le nonne o le mamme preparano per questa occasione. La "Palomma" ha la forma di una colomba appiattita da un lato, è fatta di pasta dolce nella quale vengono inserite delle uova ed è adornata da "anisini" (granelli di zucchero).