Secondo lo storico Ludovico Pepe, la costruzione del Santuario della Madonna della Nova risale al 1561, al tempo del vescovo G. Carlo Bovio. Attualmente, alcuni storici, suffragati da nuovi rinvenimenti, ipotizzano che la chiesa risalga al 1531. Fu edificata davanti a una preesistente cripta basiliana, ma gli ultimi affreschi, rinvenuti nel 1996-97, e lo stile di alcune decorazioni, fanno pensare che prima della costruzione dell'attuale chiesa esistesse già un avancorpo: una piccolissima chiesetta che aveva come altare quello che ora è nella grotta. È il più antico santuario mariano ostunese e il culto della Vergine, presso questa chiesetta, è stato sempre vivo nel corso dei secoli. Nel XVIII sec., durante la peste che colpì anche Ostuni, fu utilizzata come lazzaretto.
È una meta di pellegrinaggio molto sentita dagli ostunesi.