Il castello domina la valle dell’Esino verso est in direzione della gola della Rossa e l’ingresso della gola di Frasassi, ed è collegato dal ponte romano di San Vittore delle Chiuse De Clusis che conduce all’ omonima Abbazia benedettina (XI sec.). Il castello passerà sotto la giurisdizione dei monaci benedettini dell’Abbazia di San Vittore delle Chiuse e successivamente ceduto dai monaci benedettini nel 1212 al nascente comune di Fabriano, il quale ne acquisì la piena proprietà nel 1298. Il toponimo Castello Petroso rimase fino al XI sec. quando cambia in Petrosaria e in volgare Perosara, Pierosara. Il nucleo medievale è formato da un doppio sistema difensivo con all’esterno il borgo murato e all’interno il torrione, a cui si accede attraverso una scala da una apposita feritoia. Al cassero,si accede attraverso una porta fortificata “Ianua Geronis”, che conduce ad una piazza, dove si trovano la Chiesa di San Sebastiano ed il “Palatium “, sede del feudo.