Il palazzo rinascimentale affacciava originariamente sulla piazza Scossacavalli, una delle piazze più importanti di Borgo, lungo la nuova via Alessandrina (Borgo Nuovo) voluta da Alessandro VI (Rodrigo Borgia 1492-1503) nel 1499 per il vicino giubileo. Risparmiato dalle modifiche per la realizzazione di via della Conciliazione della prima metà del XX secolo, con la demolizione della Spina di Borgo e lo smantellamento della piazza, fu costruito alla fine del XV secolo per il cardinale Adriano Castellesi di Corneto, segretario di Alessandro VI. La paternità del progetto del palazzo è generalmente attribuita a Donato Bramante, come riporta anche il Vasari (1511-1574). Alcuni studiosi però lo ascrivono ad Andrea Bregno, influenzato nell'impianto dallo schema architettonico del tipo di palazzo moderno bramantesco. L'edificio nel XVI secolo fu donato al re d'Inghilterra Enrico VII, che ne fece la sede dell'Ambasciata Inglese presso lo Stato Pontificio. Passato dopo il 1635 alla famiglia di banchieri francesi Giraud, nel XVIII secolo divenne proprietà dei Torlonia che ne risistemarono il prospetto, originariamente decorato a graffiti monocromi secondo la moda degli inizi del Cinquecento, opera di Polidoro da Caravaggio e Maturino da Firenze. Il palazzo mantiene la facciata di forme rinascimentali, a due piani, scandita verticalmente da lesene e orizzontalmente da fasce marcapiano, con finestre centinate e architravate al primo piano. Al centro, il maestoso portale realizzato nelle forme attuali dai Giraud nel Settecento, cui fu poi aggiunto lo stemma dei Torlonia.