Il Palazzo baronale di Colonna, soprannominato "il Palazzaccio", era la sede del governo baronale del piccolo feudo, appartenuto prima alla famiglia Colonna, fino al 1622, poi ai Ludovisi e quindi, dal 1670 al 1816, ai Rospigliosi-Pallavicini, che rimasero proprietari del Palazzo baronale per molti anni dopo l'eversione del feudo. L'edificio è sicuramente successivo al 1299, quando Colonna venne rasa al suolo nel corso della "crociata" indetta da papa Bonifacio VIII contro i Colonna. Giuseppe Tomassetti riferisce "di aver visto avanzi della costruzione del secolo XIV in selce, con cordoni di peperino, in parte ricoperta d'intonaco; sulla piazza del Comune corrisponde un bel portone bugnato; nell'interno è un bel portico del secolo XVI, a due piani di 5 archi ciascuno, con pilastri di peperino: ai due lati dell'arco principale sono gli stemmi Colonna e Falconieri in due targhe di peperino; rimane anche la bella scala a volte che sale al primo piano." ("La Campagna Romana", vol. 3, p. 506, edizione Banco di Roma del 1976). Oggi l'edificio è interamente circondato da ponteggi, in attesa di una meritata riqualificazione.