La nascita della chiesa di S.Maria dell'Annunziata è legata alla storia del monastero di S.Tommaso, sorto a Rutigliano nel XII secolo, con la finalità di dare ospizio ai pellegrini. Tale monastero fece costruire, probabilmente tra il XIII e il XIV secolo, la chiesa di S.Maria del Castello, solo in seguito denominata dell'Annunziata. Dopo secoli di alterne fortune, la chiesa fu riedificata, nello stesso luogo della prima, sul finire del XVI secolo. Ulteriori importanti interventi sono ascrivibili alla prima metà del XVIII secolo ad opera del prelato Innico Martino Caracciolo. Successivamente al 1864 la chiesa divenne proprietà privata. Nel 1961 fu venduta alla chiesa del Carmine, che ancora oggi risulta proprietaria della chiesa e dell'area annessa esterna. Il complesso è composto da due corpi di fabbrica. Il primo, quello della chiesa (14 metri x 10.55, con un'altezza di 13), ha un impianto rettangolare a navata unica, diviso in tre campate; la prima e l'ultima coperte a botte con lunette, in cui si aprono finestre strombate, mentre quella centrale è coperta a vela con lanterna centrale. Il secondo, aggiunto successivamente al 1727, si compone di due livelli, il primo utilizzato parte a stalla e parte come sagrestia, il secondo come fienile. L'interno della chiesa è ripartito lateralmente da arcate a tutto sesto, arricchite da paraste aggettanti modanate, che in passato incorniciavano altari in pietra ormai trafugati. Anche l'altare maggiore è stato asportato (rimane solo un timpano spezzato curvilineo, poggiato su mensole). La facciata cuspidata della chiesa, rivolta a ovest, presenta per metà un bugnato in pietra a filari regolari, mentre la parte superiore è intonacata. Il portale sul fronte principale, sormontato da un timpano spezzato, fino a marzo 1986 era arricchito dallo stemma prelatizio in pietra di Innico Martino Caracciolo, autore nella prima metà del '700 di interventi di ristrutturazione e abbellimento. Ai furti susseguitisi nel tempo si sono progressivamente sommati consistenti fenomeni di degrado, che interessano sia le coperture che i muri perimetrali, con la comparsa di preoccupanti segnali di dissesto statico. 
Il culto dell'Annunziata ha origini antiche ed è da sempre caratterizzato da particolare fervore, se già nel 1727 il vescovo di Conversano mostrava stupore per l'ingente spesa impiegata per la ristrutturazione della chiesa, posta così lontano dal centro abitato. In passato la festa dell'Annunziata si svolgeva due volte l'anno, il 25 marzo (coincidente con la ricorrenza liturgica dell'Annunciazione) e la seconda domenica di maggio. Mentre la prima data coincideva con una festa religiosa, la seconda era legata ad una festa decisamente profana, dai contenuti strettamente connessi alla superstizione popolare.