La sua costruzione viene fatta risalire al 1072, contemporaneamente alla chiesa di Sant'Andrea, ad opera dei monaci del monastero di Fonte Avellana. Nel 1139 dipendeva da Fonte Avellana, ma nel 1159 nacque una contesa per il suo possesso con la diocesi di Fossombrone: una commissione di cinque cardinali mediatori nominati dal papa vi pose fine nel 1185, per mezzo di un accordo di divisione a metà. Nel 1255 Loretello passò ad Arcevia, che pagò un indennizzo alla diocesi di Fossombrone. Nel 1273 trentatré famiglie avevano giurato fedeltà ad Acervia, che ottenne il possesso definitivo nel 1289 con un atto del rettore della Marca. Loretello fu spesso sottoposto ad attacchi da parte dei nemici di Arcevia e decadde, finendo con lo spopolarsi. L'aspetto attuale del castello deriva da successivi ampliamenti effettuati nel Trecento e nel Quattrocento. Non essendo più destinato ad uso militare vi fu aggiunto nel Settecento il ponte di accesso a tre arcate. Loretello era amministrato da un "Consiglio del castello", mente le funzioni di giustizia e sicurezza pubblica erano affidate ad un capitano. Con il passaggio al Regno d'Italia tutte le funzioni amministrative sono passate ad Acervia. Le mura esterne sono tuttora percorribili con i camminamenti, i rivellini e la porta dello scomparso ponte levatoio. Vi si trovano due torri: la "torre della guardia", una torre di avvistamento su tre piani, collegata con galleria alle vicine costruzioni ed a struttura angolata per meglio resistere ai colpi sparati dalle bombarde; la torre detta "la prigione", su sei piani, con strette feritoie e merli in stile ghibellino, adibita un tempo anche a prigione ed abitata da privati fino a tempi recenti. All'interno del castello sorge un piccolo centro abitato.