La villa fu fatta costruire da Mario Sforza nel 1577, contemporaneamente alla realizzazione della Villa Sforzesca di Castell'Azzara. Vi è incertezza su chi possa aver realizzato il complesso, ma non è da escludere che anche il progetto per questa residenza possa essere stato elaborato da Giovanni e Domenico Fontana che stavano lavorando alla realizzazione dell'altro complesso sforzesco. Nel corso del XVII secolo, con la definitiva caduta politica della Contea di Santa Fiora e la sua annessione al Granducato di Toscana, la villa passò ai granduchi che decisero di trasformarla in fattoria, suddividendola in più unità che furono cedute a privati. Durante il secolo scorso, il complesso fu abbandonato ed è andato incontro ad un inesorabile degrado, in cui versa tuttora. La fattoria di Pomonte si presenta come una possente villa in stile tardo rinascimentale, disposta su tre livelli, col portale d'ingresso centrale preceduto da una gradinata e sovrastato da un arco a tutto sesto, sopra il quale è collocato lo stemma gentilizio scolpito in un unico blocco di travertino; nella parte inferiore dello stemma è presente il leone che regge il pomo cotogno, tipico degli Sforza, e nel campo superiore la croce di cavaliere di S. Stefano, di cui il conte Mario fu insignito nel 1578. Attualmente, il fabbricato versa in condizioni non buone, necessitando urgenti interventi di restauro. Un primo progetto di recupero dell'edificio principale e dell'ala sinistra della fattoria porta la data del 1962 a cura dell'Ente Maremma, il progetto purtroppo non ebbe seguito e, 2 anni dopo, un nuovo sopralluogo indico la necessità di intervenire con urgenza con la demolizione dello sperone. Nel maggio del 1965 uno studio per lavori di consolidamento datava la Fattoria "intorno al 1800" quando invece quel fabbricato era perfino precedente alla villa cinquecentesca. Per questo, forse, nel 1967 si demolirono le rimanenti torrette circolari d'angolo, le scale ricostruite poi in modo difforme dall'originale, i muri perimetrali del primo piano per ricostruirli con blocchi di tufo faccia a vista e la trasformazione della cappella in abitazione privata. Nella cappella di Sant'Antonio Abate era custodita una pala d'altare raffigurante la Madonna col Bambino in gloria e santi, opera di scuola senese del XVII secolo, attualmente conservata nella vicina e moderna chiesa di San Benedetto. La alluvione del 4 novembre 1966 colpì anche la Fattoria, l'esondazione dei fossi intorno alla Fattoria aggravò la instabilità dell'edificio. A partire dal 1970, si costruirono gli speroni esterni in cemento armato collegati con un cordolo di cerchiatura dell'intero edificio e poggianti su uno zatterone di sottofondazione. Questo intervento, ancorché esteticamente più che discutibile, ha salvato la Fattoria dal crollo ma non del progressivo, inesorabile abbandono. La Fattoria, insieme con la corte e i terreni immediatamente attigui, furono alienati con un'asta pubblica ad una società privata per la cifra di Lit. 181.550.000. Oggi quella che in passato era una splendida villa di caccia e poi il centro pulsante dello sviluppo agricolo del territorio di Pomonte si trova in stato di completo abbandono. L'edificio non ha perso però la sua antica possanza ed eleganza. Gli speroni di cemento armato costruiti quasi 50 anni fa, per quanto sgraziati, hanno permesso all'edificio di rimanere in piedi, servono sforzi e risorse per permettere di continuare l'esistenza e recuperare questo importantissimo pezzo della storia della Maremma.