Edificato nella seconda metà del XV secolo per volere del condottiero Francesco Secco su progetto dell'architetto Luca Fancelli, che pose la sua inconfondibile firma nella facciata con merlatura cieca. Il Secco era amico e confidente del marchese Ludovico III Gonzaga e nel 1451 sposò Caterina, sua figlia naturale. In questo palazzo, il 15 giugno 1491, furono ospiti di Francesco Secco per un sontuoso convivio il duca di Ferrara Ercole I d'Este e Francesco II Gonzaga, marchese di Mantova, che intendeva riconciliarsi con il Secco. Dagli inizi del Cinquecento passò vari proprietari sino a quando alla fine del Settecento la famiglia Pastore lo acquistò, modificandone la struttura e aggiungendo due lunghi corpi di fabbrica al nucleo centrale originario. Nel 1889 morì nel palazzo Cesare Pastore, senatore del Regno d'Italia. Tuttora di proprietà della famiglia Pastore, è aperto al pubblico una sola volta all'anno per la rievocazione storica del convivio del 1491.