Il complesso, risalente al '700 e citato da Pietro Verri nel 1762, appartenne dapprima alla famiglia Morello — nota nell'erbese per la produzione della seta — poi ai Castelletti. Il passaggio alla nobile casata dei Pecori avvenne in occasione delle nozze di Placida Castelletti con il fiorentino Enrico Pecori, inventore nel 1891 del triciclo a vapore che porta il suo nome. Nel 1985 parte dell'edificio fu donato al Comune dalla discendente Angelina Colombo Pecori e da 15 anni non è accessibile al pubblico. Si segnalano il cortile, il portico d'ingresso, il teatrino privato, la cappella affrescata e l'altare intarsiato. Un paio di ambienti del piano nobile, affrescati con figure allegoriche che esaltano il lavoro nei campi e la ricchezza che l'uomo può ricavarne, sono riconducibili al pittore neoclassico Comerio, attivo a Roma e Bergamo. Infine, il S. Crocifisso dipinto su una delle facciate esterne del palazzo è tutt'ora oggetto di devozione popolare da parte dei caslinesi.