Venne innalzato dal vescovo di Verona Ermolao Barbaro, su progetto di Michele da Caravaggio, tra il 1454 e il 1471, sul luogo di un precedente edificio gotico, del quale rimase solo una torre, al cui interno fu ricavata la cappella.
Nel XVI secolo fu rimaneggiato e notevolmente abbellito dal vescovo Giberti.
Di aspetto imponente e massiccio, racchiude al suo interno un elegante cortile a duplice loggiato tutto a colonne in marmo rosso con capitelli a grosse foglie negli angoli, che incorniciano un chiostro rinascimentale con al centro il pozzo. Un po' ovunque è riportato l'anello gentilizio dei Barbaro.
Nella cappella si può ammirare la Natività di Maria, un affresco del 1534 di Francesco Torbido.