Dalla Metà del 1300 il Castello dell'Acciaiolo ha mantenuto intatte le originarie forme mediovali. La sua posizione nella valle dell'Arno ne faceva un importante centro strategico a per il controllo del fiume. Nel XVI° secolo fu dei Davizzi e teatro di un truce fatto di sangue: Neri di Pietro Davizzi teneva rinchiusa fra le mura del maniero la moglie e in seguito, per liberarsene, la uccise avvelenandola. Scoperto il delitto fu condannato ed esiliato dal territorio Fiorentino.