Realizzato in età medioevale, ma fortemente modificato nel corso dei secoli, si raccoglie attorno ad un cortile e reca all'esterno la "firma" degli ultimi feudatari, lo stemma dei Doria Pamphili. E' composto da due corpi di fabbrica separati da una sorta di maschio campanile, sormontato da un orologio. Ospita le sedi dell'Etnomuseo di Roccagorga e della Biblioteca Comunale.