Il castello aragonese (o castel Sant'Angelo), con la sua pianta quadrangolare e il vasto cortile centrale, occupa l'estremo angolo dell'isola su cui sorge il borgo antico della città di Taranto. Il primo nucleo del castello risale al 780, quando i Bizantini avviarono la costruzione della "Rocca" a protezione dagli attacchi dei Saraceni e della Repubblica di Venezia. Questa prima fortificazione era costituita da torri alte e strette, dalle quali si combatteva con lance, frecce, pietre, e olio bollente. Nel 1481 fu realizzato un primo canale navigabile, più stretto dell'attuale e con sponde irregolari, per consentire il passaggio di piccole imbarcazioni e migliorare la difendibilità del castello. Nel 1486, Ferdinando I di Napoli incaricò l'architetto e ingegnere militare Francesco di Giorgio Martini di ampliare il castello e di conferirgli l'attuale struttura, onde rimpiazzare la tipologia medievale delle torri concepita per la difesa piombante. L'utilizzo infatti dei cannoni in seguito alla scoperta della polvere da sparo, necessitava di torri larghe e basse, di forma circolare per attutire l'urto delle palle di cannone. La nuova fortificazione doveva comprendere sette torri, di cui quattro unite tra loro a formare un quadrilatero, e le rimanenti tre allineate lungo il fossato fino al Mar Piccolo. Le quattro torri furono intitolate rispettivamente a san Cristofalo, a san Lorenzo, alla Bandiera ed alla Vergine Annunziata. Il primo castellano, poiché i fondi per ultimare la parte aragonese del castello (il quadrilatero) non erano sufficienti, impose il dazio sulla pesca, successivamente ingrandì il castello unendolo alla torre Sant'Angelo che fu costruita a spese del Comune. Le torri tonde e massicce del castello risultarono alla fine alte e larghe 20 metri, unite tra loro da cortine lunghe 40 metri e con 4 ordini di fuoco. Il castello era dotato di due uscite corrispondenti a due ponti levatoi: il ponte del Soccorso che univa il castello alla zona che allora era campagna e che oggi viene denominata Borgo e il ponte dell'Avanzata che univa il castello con il borgo antico. Nel 1491 fu aggiunto sul lato rivolto al mar Grande il rivellino di noforma triangolare tra la torre della Bandiera e la torre San Cristofalo. Il castello fu ultimato nel 1492, come risulta dall'incisione di una lapide murata sulla "Porta Paterna" insieme allo stemma degli Aragonesi inquartato con l'arma dei d'Angiò tripartita. Con gli Spagnoli, le difese furono rafforzate allargando il fossato e costruendo una nuova fortificazione con tre torri. Con l'arrivo degli Asburgo nel 1707, il castello perse la sua importanza come opera militare divenendo una dura prigione, ma con Napoleone Bonaparte ritornò alla sua funzione originaria. Nel 1883, una delle cinque torri che univano la cortina muraria, quella dedicata a Sant'Angelo, insieme alle torri Mater Dei, Monacella e Vasto del muro civico, furono demolite per fare posto all'attuale canale navigabile e al ponte girevole. I lavori furono ultimati nel 1887, anno in cui il castello diventa una sede della Marina Militare. All'interno del castello, si può ammirare la cappella di San Leonardo, riconsacrata nel 1933 dopo essere stata adibita nel corso degli anni a corpo di guardia e stalla. Al suo interno si trovano due lastre in carparo addossate alle pareti, che rappresentano rispettivamente un santo vescovo ed un guerriero medievale armato. Si può notare inoltre lo stemma di Filippo II di Spagna. Particolare è anche quella che fungeva da sala delle torture, la cui volta presenta un foro centrale attraverso il quale venivano amplificate e propagate le urla dei malcapitati, intimorendo psicologicamente gli altri prigionieri.