Di origini cinquecentesche, la Villa appartenne in origine alla famiglia Gonzaga di Mantova. Fu riedificata nel 1771 sotto la dominazione austriaca utilizzando i materiali ricavati dall'abbattimento della cinta muraria e del castello (della rocca rimane solo una torre d'angolo). Fu qui che crearono il loro quartier generale gli austriaci durante la battaglia di Castiglione del 5 agosto 1796 contro Napoleone Bonaparte. Dagli inizi e sino a metà dell'Ottocento l'edificio passò in proprietà ad alcune famiglie nobili mantovane. La villa fu venduta alla famiglia di Mirra Pastore (da cui il nome) nel 1883. L'edificio, circondato da uno splendido parco ornato di cipressi, ontani, querce, esotiche palme e maestosi cedri del Libano, è divenuto proprietà del Comune di Cavriana nel 1976, e oggi ospita manifestazioni culturali, convegni e mostre. In un'ala della costruzione è ospitato il Museo Archeologico dell'Alto Mantovano.