Il Palazzetto Baviera venne edificato già nel medioevo, ma prese la forma attuale verso la fine del ‘400 per volere di Giovanni Giacomo Baviera, lo zio materno di Giovanni Della Rovere, nello stesso periodo della costruzione della Rocca, grazie al progetto di Baccio Pontelli, come testimonia l’armoniosa proporzione del piccolo, ma bel cortile interno, impreziosito da un portico su due ordini di colonne nel quale si affaccia un elegante pozzo contornato dagli stemmi di Baviera.