Il palazzo fu fatto costruire dalla famiglia Caccianini a partire dal XVII secolo come propria residenza inglobando varie strutture della cinta muraria nel proprio palazzo. Alla metà del Settecento risulta una sopraelevazione dell'edificio, mentre è degli inizi del XIX secolo l'aggiunta di un'ala trasversale dell'edificio precedente. passato in seguito alla famiglia Finamore e poi al comune. È suddiviso in tre livelli. Solo il primo ed il terzo livello sono imbiancati, il piano centrale presenta una muratura a vista per via dello scrostamento della vernice. Al pian terreno vi sono vari ingressi per le abitazioni e i luoghi di deposito, aperti forse di recente. Le aperture al primo piano sono state murate per via dell'abbandono. Le aperture al secondo piano si affacciano su dei balconcini e incorniciate da rilievi in stucco.