La Torre di Carlo V venne edificata nel 1554 a difesa del caricatore più importante dell’isola; la massiccia struttura, dalla forma tronco-piramidale, è sovrastata dal cosiddetto "terrazzo delle cannoniere". Le dimensioni e le difese della fortificazione, ancora oggi danno l’idea dell’importanza rivestita dal caricatore nell’economia dell’epoca. La torre è stata a lungo adibita a carcere: nel 1848 fu teatro del massacro di 114 detenuti.