Il Palazzo, costruito per la ricca famiglia di mercanti fiorentini dei Gaddi, nel 1567 fu acquistato da Angelo Cesi prendendo la denominazione di "Palazzo Cesi". Tra i componenti di questa famiglia il più noto è Federico Cesi, detto il Linceo, che nel 1603 fondò l'Accademia dei Lincei che ebbe qui la prima sede. Il palazzo ospitava il primo Orto Botanico di Roma e un'importante collezione di antichità, talmente ricca da essere inserita nelle guide della città di Roma del Settecento. Oggi alcune opere sono ancora in loco mentre altre sono divise tra il Museo di Palazzo Altemps e i Musei Capitolini. Le successive vicende del Palazzo lo videro cambiare diversi proprietari e funzioni fino al 1940 quando il palazzo passò al Ministero della Guerra e divenne sede del Tribunale Militare. Dopo aver ospitato per 35 anni il Tribunale Supremo Militare e la Procura Generale Militare, oggi accoglie il Consiglio della Magistratura Militare e gli uffici giudiziari militari superiori.