La rocca fu costruita nel IX secolo ed era un antico possedimento dell'Abbazia di San Salvatore al Monte Amiata. Nei secoli successivi divenne della famiglia Aldobrandeschi, assumendo un ruolo strategico per il controllo e lo sfruttamento delle vicine miniere di cinabro e mercurio ed entrando nelle mire espansionistiche di Siena, sotto la cui giurisdizione passò verso la metà del Trecento. Nei primi anni del XIV secolo gli Orsini di Pitigliano inglobarono la fortificazione nella loro contea. La rocca entrò a far parte del Granducato di Toscana attorno alla metà del Seicento, assieme a tutti gli altri territori della Contea degli Orsini. Da allora, la fortificazione fu gradualmente dismessa, andando incontro ad un lungo ed inesorabile declino. Negli ultimi anni del secolo scorso, una serie di campagne di scavo e di interventi di restauro hanno permesso il recupero di una piccola parte degli imponenti ruderi che testimoniano l'importanza della rocca nei secoli passati. La Rocca Silvana si trova sulla vetta di un monte nella valle del fiume Fiora. Nella parte bassa si estendeva il borgo, di cui rimangono le strutture murarie dei vari edifici, mentre nell'area sommitale si trova il palazzo signorile, a pianta quadrangolare, disposto su due livelli, presso il quale vi sono i resti di una cisterna dell’acqua ed una cappella. Era dotata di una doppia cinta muraria, la prima racchiudeva l’abitato e la seconda interna a protezione del palazzo feudale, con una forma semi trapezoidale. In corrispondenza della porta principale, si trova tuttora una splendida torre di forma pentagonale che aveva la funzione di cassero.