Magnifico castello visconteo. È un vasto complesso nelle adiacenze della chiesa parrocchiale, ma situato a un livello leggermente inferiore. Oltre a una robusta torre che reca le date 1548 e 1555, comprende edifici risalenti a varie epoche successive, cortili e giardini con ampie vedute verso il paese o verso il lago. Di un primo castello si hanno notizie sin dal Duecento, ma nel Cinquecento la fortificazione si trasformò in residenza padronale ove erano conservati i proventi in natura, soprattutto il vino, che i Visconti riscuotevano dai sudditi. Nel 1721, vi nacque Filippo Maria Visconti, poi arcivescovo di Milano. Oggi è ancora proprietà degli eredi dei Visconti di San Vito.