ll Castel di Pietra (noto anche con il nome di Castello della Pietra) si trova all'estremità nord-orientale del territorio comunale di Gavorrano, sulla vetta di un poggio nell'area meridionale delle Colline Metallifere grossetane. Il Castello rientra fra i siti di competenza del Parco tecnologico archeologico delle colline metallifere grossetane. Fin dall'epoca preistorica sono presenti tracce di un piccolo insediamento stabile all'interno di una grotta aperta lungo le pendici orientali della collina dove è ubicato il castello. La prima menzione documentaria del castello è del 1067, annoverato tra le proprietà dell'Abbazia di Sestinga. A partire dai primi anni del XII secolo il sito cessò di essere definito nei documenti rocca per assumere la qualifica di castello. Nel 1203 gli abitanti di Castel di Pietra potevano impedire il transito del sale grossetano, che non provenisse dai magazzini Aldobrandeschi o senesi (patto tra Ildebrandino VIII degli Aldobrandeschi e la città di Siena) e nel 1307 il Comune di Massa (Massa Marittima) vi insediò un castellano con 4 soldati con il preciso incarico di controllare la via di comunicazione fra il massetano e la pianura di Grosseto. Nel XIII secolo dopo il controllo esercitato dalla famiglia Aldobrandeschi passò nelle mani di una consorteria legata alla famiglia Pannocchieschi che, nonostante un atto di sottomissione a Siena nel 1263, esercitarono una sostanziale autonomia fino agli inizi del XIV secolo. Successivamente Castel di Pietra, dopo un duro confronto politico e militare cadde sotto il controllo del Comune di Massa che nel 1328 dopo la morte di Nello, acquisì i diritti signorili dei Pannocchieschi, concesse la cittadinanza a 52 capifamiglia e fece del castello un baluardo contro la rocca ghibellina di Montemassi dell'imperatore Ludovico IV il Bavaro. In seguito si ebbe l'affermazione di alcuni potentati signorili ad opera delle famiglie senesi dei Tolomei e dei Malavolti. Resti umani rinvenuti a Castel di Pietra durante una campagna di scavo Proprio negli anni in cui i Pannocchieschi avevano il controllo del luogo, il castello fu lo scenario del leggendario Salto della Contessa, che vide protagonista Nello Pannocchieschi: per convolare a nuove nozze con Margherita Aldobrandeschi, decise di uccidere la sua prima moglie Pia de' Tolomei. Tale episodio è stato ricostruito a partire da alcuni sibillini versi di Dante Alighieri nella Divina Commedia. Questo avvenimento ha conferito la denominazione di Salto della Contessa alla rupe su cui sorge la fortificazione. Va detto, comunque, che al tempo di Nello, in casa Tolomei non esisteva nessuna figlia o nipote che si chiamasse Pia. Un Tolomei, comunque, sposò una Pia Malavolti. Il matrimonio (di interesse) non durò molto. Sembra che la Pia avesse molti amanti, o che fosse molto brutta. Di fatto il Tolomei decise di farla sparire dalla circolazione, nel perfetto stile del tempo. L'incarico dell'esilio fu affidato proprio a Nello. Pia fu così "rapita" e portata in Maremma dove morì miseramente, forse proprio nel Castel di Pietra. Nello di Inghiramo dei Pannocchieschi della Pietra era vassallo della famiglia Aldobrandeschi di Sovana che, come detto sopra, aveva avuto precedentemente il controllo dell'importantissimo Castello. Dopo una intensa storia di amore, sposò l'amata Margherita Aldobrandeschi, (anche se questa era ancora sposata al sanguinario Guido di Montfort che era tenuto prigioniero a Messina). Margherita era ignara della sorte del primo marito e soprattutto era in dolce attesa di un figlio. In un primo momento, i due novelli sposi forse risiedettero nel palazzo di Nello in Massa di Maremma (attuale Massa Marittima). Binduccio o Bindoccio, il figlio nato dai due, però morì all'età di tredici anni perché annegato in un pozzo per mano di sicari della famiglia Orsini. Il Pozzo dell'Innocente o di Binduccio è ancora facilmente visitabile a Massa Marittima.