Fortificazione d'origine romana sull'ossatura della quale fu eretto il Castello a pianta rettangolare, con all'interno sei strade abitate e la casa comunale, lungo ben trecento metri e largo centocinquanta. Nella parte di sud-est, si apriva una grande piazza, la piazza delle Carampane, con una chiesetta in corrispondenza dello spigolo del forte. Un particolare strategico molto interessante, nella rete viaria del castello, è rappresentato dal fatto che le porte sono fuori asse, onde evitare scorrerie veloci e trasversali da parte degli avversari, mentre il reticolo viario è rigorosamente ortogonale, di sapore ancora romano. Il Castello per oltre mezzo millennio di movimentate vicende storiche ebbe un ruolo cruciale di piazzaforte e godette la rarissima fortuna di serbare così a lungo quasi intatta la sua genuina struttura. Solo in tempi relativamente recenti subì massicce demolizioni per ampliare la piazza del mercato e per far posto alle scuole elementari. Costruito non su una collina, ma su un rialzo del terreno, dovuto alla terra riportata e alle macerie delle primitive costruzioni, era intersecato da sotterranei e difeso da una grande fossa - ancora oggi visibile dell'ampiezza di una decina di metri che attingeva l'acqua dal cosiddetto Pozzo lungo situato nelle vicinanze. Recentemente, tra le macerie e il fango scuro della fossa, furono rinvenuti due frammenti di una punta di lancia in ferro ora presso la Soprintendenza di Brescia del tutto simile a quella conservata nel Museo di Manerbio e datata intorno al 1300. Proprio alla fine del trecento il Castello Medievale fu ulteriormente munito di difese con tre giri concentrici di mura fortificate; il nuovo circuito delle mura correva intorno alle attuali via Martinengo, Bettini, Cantù, Bonomelli,Porcellaga, Sopramura. Nel 1470 Venezia, interessata ad aumentare la resistenza e la potenza del Castello, dispose l'innalzamento di cinque torrioni, con l'aggiunta di casematte e rivellini. Le torri come le mura erano realizzate in corsi ordinati di blocchi squadrati di ceppo del Monte Orfano. Oggi ne rimangono solo tre: quello a nord fu distrutto nel 1796 e quello a sud intorno al 1840, per far posto ai portici del Vantini. Nel 1610 il Da Lezze, colpito appunto dalla capacità difensiva della struttura, lo descriveva come castello con doi porte, revellini et case matte con quattro torrioncini, fossa con acqua morta circonda mezzo miglio in circa, sicurissimo da batteria da mano per essere le mura tutte fatte di pietra viva. Il Castello di Rovato con le sue mura venete è da collocare tra i più illustri esempi d'architettura castrense italiana, inoltre, in corrispondenza della porta meridionale e di quella settentrionale (demolite nell'Ottocento e in parte conservate nel sottosuolo della Piazza del Mercato e quella della piazzetta antistante la biblioteca) conserva due bastioni che sono da annoverare tra i primissimi dell'architettura militare italiana.