Le origini del castello, situato nel borgo medievale di Sermoneta, risalgono al XIII quando la Santa Sede affidò alla famiglia baronale degli Annibaldi le città di Sermoneta, Bassiano, San Donato e altri territori annessi. Gli Annibaldi costruirono un’imponente rocca caratterizzata dal Maschio, una torre alta 42 metri e da una contro torre, detta Maschietto. La rocca rappresentava il fulcro della vita cittadina.