Sul versante orientale della collina della Terra la città comunicava con l’esterno attraverso una porta di ridotte dimensioni, detta “Pusterula”, citata una prima volta il un documento del 1038, quando viene descritta una casa “ Fabrica foras ipsa pusterula uius civitatis Abellini”. La Tufara, per antonomasia, era quella zona della collina della Terra che oggi affaccia su Largo Castello. La comunità greca di Avellino, insediatasi sul lato orientale della collina della Terra (Rampa Tofara) aveva come proprio luogo di culto la Chiesa di S. Nicola dei Greci. Il Castello era posto ad un livello inferiore rispetto all’abitato della Terra e risale al 1152 il più antico documento che ne attesta l’esistenza. L’edifico faceva corpo con il sistema fortificato della città murata accrescendone le capacità difensive ma poteva disporre di capacità autonome di difesa. Un importante intervento di ristrutturazione venne effettuato durante il governo della nobildonna italo-spagnola Maria de Cardona (1513-1563) che avviò la trasformazione in residenza.