In origine il castello era costituito da una semplice torre facente parte del sistema di difesa della costa ideato dal Granduca di Toscana Cosimo I de’ Medici nel periodo fra il 1545 e il 1548 per contrastare le escursioni e le razzie dei pirati barbareschi e turchi.Il Castello in origine era chiamato Torre del “Romito “ o Torre di "San Salvadore" perché una strada la collegava sulla collina retrostante alla chiesa omonima ubicata in località Castellaccio di Livorno.la Torre di avvistamento presidiava gli anfratti della Cala del Leone e del Rogiolo dove i pirati si nascondevano per poi attaccare i bastimenti per Livorno.Nei pressi del Castello c'era una foresteria per la guarnigione dei soldati.L'attuale castello risale alla fine dell'Ottocento, quando il barone Sidney Sonnino decise di installarvi la propria residenza.L'interno è austero,riconoscibile è la struttura originaria del fortilizio in particolare quella dello spalto mediceo, dove è ricavato un grande salone di ricevimento