La villa possiede una lunga storia, che solo la Contessa è in grado di narrare. Durante le giornate aperte, i visitatori vengono accompagnati per le mille stanze alla scoperta degli angoli più remoti dell'edificio.
Copio ed incollo dal sito https://consorziocastelli.it/icastelli/pordenone/panigai
"Due sono gli elementi sui quali possiamo fondare l'analisi dell'evoluzione del feudo di Panigai: il castello, sede della giurisdizione, e la chiesa espressione della comuntità rurale di Panigai". Artico de Panialis viene citato quale capostipite della famiglia in documenti portogruaresi del secolo XII. Nel 1326 si hanno notizie del casato, quando Nicolò, Leonardo, Giucubo e Falcomaro di Panigai si accordano con il da Camino a dànno della Chiesa aquileiese venendo perciò banditi dal patriarca Pagano. Nel 1396 a Giovanni e Federico di Panigai viene data investitura feudale. Verso la fine del secolo XVI il castello era senza mura e con poche case "eccettuata l'abitazione dei signori". Non ci è noto cosa sia accaduto al fortilizio nei due secoli successivi; forse ritenuto inutile come opera difensiva, venne abbandonato. Nel secolo XVIII al posto del castello, e forse utilizzandone in parte le antiche strutture, viene elevato un sontuoso palazzo. Possiamo leggere l'impianto del castello in due disegni, uno conservato nella raccolta Joppi e l'altro nell'archivio Panigai.
Di fronte alle mura della villa, c'è anche una chiesetta che vale una visita. Immersa nella campagna pordenonese, ci riporta ad un tempo antico.