La costruzione del Palazzo dei Soldati, che risale al 1591, fu compiuta in cinque anni e risolse definitivamente il problema degli accasermamenti che la funzione militare del Lido, naturale baluardo di Venezia contro le offese dal mare, aveva proposto fin dal 1202 allorché il vecchio Doge Enrico Dando lo (1107-1205) fece sostare in questa località circa quarantamila crociati, in attesa di salpare per la Terra Santa (quarta crociata voluta da Papa Innocenzo III nel 1202), costruendo a San Nicolò grandi "capanne di tavole" per soldati e "scuderie" per i cavalli. Una simile soluzione, basata su baraccamenti di tipo speditivo, venne adottata anche durante la guerra di Chioggia (1378-79) quando, minacciata dai genovesi, la Serenissima affidò la difesa della città a Vettor Pisani che fece costruire due robuste torri di legno sulle rive dell'imboccatura del Porto di Lido collegandole con un sistema di catene e piccoli battelli capace di bloccare la navigazione. Contemporaneamente il Pisani ordinò di scavare, attraverso il Lido, una larga fossa con un "ramparo" in pietra per proteggere l'Abbazia di San Nicolò e dietro vi fece erigere grandi baraccamenti per le truppe. Questo sistema difensivo venne chiamato "il serraglio" ed ancora oggi il luogo ove sorge la caserma "G. Pepe" viene indicato con questo appellativo.In seguito, nella prima metà del XVI secolo, a causa della minaccia turca, la vecchia torre, detta "Castel Vecchio" e situata di fronte a Sant'Andrea, venne completamente ricostruita ed ampliata si che dai lavori risultò una fortificazione formata da un corpo centrale merlato con una piccola torre al centro e da due torrioni con scarpate e terrazze ai lati. Il torrione di destra, innalzando al centro un'antenna molto alta dotata di lanterna, aveva funzione di faro. Inoltre, sempre in quegli anni, venne costruita una traversa di 300 passi (che andava dal mare alla laguna e che era costituita da un bastione centrale e da due semibastioni laterali terrapienati e muniti di orecchioni) e una cortina spezzata lungo i confini con il mare. In questo modo anche Venezia poté vantare, entro i suoi limiti lagunari, un esempio classico, seppur limitato, del fronte bastionato. Quest'opera, che isolava una grossa porzione del territorio settentrionale del Lido, possedeva al suo interno i "quartieri" per i soldati, (ancora di carattere provvisorio) un edificio adibito alla produzione di polvere da sparo (tezon per i salnitri), le stalle per i cavalli ed il convento e la chiesa di San Nicolò. Tale edificio riveste una notevole importanza perché è uno dei primissimi esempi di Caserma appositamente costruita con lo scopo dell'accasermamento dei soldati e testimonia il tentativo di risolvere l'annosa questione, che in quell'epoca affliggeva tutte le maggiori potenze, dell'acquartieramento delle truppe in tempo di pace ed un importante passo verso la costituzione di un esercito moderno e non mercenario. Questa rilevanza non sfuggì ai Veneziani che, nel 1592, coniarono una medaglia commemorativa per celebrarne la costituzione. La caserma conserva ancora oggi le sue caratteristiche originarie con la grande pianta quadrata racchiudente un'ampia piazza fortificata al centro della quale è situato un pozzo dagli elementi architettonici monumentali in pietra d'Istria. La Caserma è sempre stata impiegata per l'alloggiamento dei soldati a partire dal 1600 quando la Serenissima Repubblica di Venezia vi alloggiò i "Fanti da Mar", una milizia ordinaria per svolgere azioni dal mare, primo esempio storico di truppe anfibie.