La tradizione vuole che il Palazzo sia sorto sulle fondamenta di una costruzione fortificata di epoca sveva ma l'ipotesi è da verificare. Si dice anche che qui sia nato Corrado IV di Svevia nel 1228. A ridosso dell'abside della Cattedrale, si notano i resti di impianto umanistico-rinascimentale risalenti ai Del Balzo, duchi della città dal XIV al XVI secolo. L'aspetto attuale venne dato da Fabrizio Carafa, nel secolo XVI, quando il Palazzo fu ampliato e assunse un aspetto principesco.