Nel 1278 vennero costruite le mura di cinta di Villanova, e circa 20 anni dopo venne edificato il castello ad opera degli angioini, che subentrarono nella dominazione di Ostuni agli svevi-normanni, ai quali si deve l'intensificazione della coltivazione dell'ulivo. Da documenti pervenuti, a dimostrazione della sua importanza strategica, risulta che il castello intorno al XV secolo era una struttura adibita a funzione difensiva in piena attività. Infatti la città di Ostuni sotto la dominazione aragonese, grazie anche al castello e al porticciolo di Villanova, è riuscita a conservare lo stato di città demaniale, quindi libera dalle gabelle feudali. A causa delle varie distruzioni del tempo, rimane poco dell'originale costruzione trecentesca. Attualmente il castello è costituito da tre corpi che si atteggiano a torrioni quadri con base scarpata. Intorno all'edificio, all'altezza del primo piano, corre un toro tubolare e dal tetto dell'edificio si erge una torretta modellata sul prototipo di un faro.