Il primo documento in cui si menziona l'esistenza del borgo fortificato risale al 1096 anno in cui numerosi armigeri furono inviati dal Castello in Terra Santa. Nel corso dei secoli il Castello è appartenuto a numerosi feudatari, si sono succeduti feudatari normanni, angioini e aragonesi che hanno modificato la struttura del Castello adattandolo alle nuove esigenze difensive dell'epoca. Dopo il disastroso terremto che causò enormi danni al borgo e al Castello nel 1456, il feudo venne aquistato dal duca di Monteleone Ettore Pignatelli e nel 1501 passò ad Alberico Carafa, alla cui famiglia rimase fino al 1806. Nel 1611 il Castello venne definitivamente mutato in Palazzo ducale. Altri due eventi tellurici del 1930 e del 1962 hanno danneggiato la struttura del Palazzo. Recentemente restaurato, al Palazzo attualmente si accede per via Santa Maria, che porta, attraverso un arco del 1505, nel cortile antistante, dal quale si accedeva tramite una scalinata al piano nobile. Il castello era diviso internamente in due piani; le cortine si elevano per oltre dieci metri e si sviluppano per una lunghezza di venti metri. Sul lato nord-occidentale agli angoli della fortificazione si possono vedere i bastioni settencenteschi progettati per difendersi dall'assalto delle truppe nemiche