L'origine dell'Oratorio di S. Croce è legata all'istituzione dell'omonima Confraternita, risalente al 1300, anche se nel corso dei secoli l'edificio subì vari interventi e modifiche. I rifacimenti effettuati nella prima metà del ‘400 conferirono all'Oratorio l'aspetto attuale, mentre i lavori eseguiti nella seconda metà del ‘500, pur mantenendo la precedente struttura, la arricchirono della facciata e di decorazioni pittoriche realizzate dal durantino Giorgio Picchi. La Confraternita godè di una particolare protezione sia della Chiesa che dei duchi di Urbino, in particolare di Federico da Montefeltro, al quale si deve la realizzazione di un rilievo bronzeo raffigurante la Deposizione dalla Croce di mano di Francesco di Giorgio Martini asportato, come altre opere che impreziosivano l'Oratorio, in età napoleonica e ora conservato a Venezia nella chiesa di S. Maria del Carmine.