Fonti storiche fanno risalire le prime origini del castello al IX secolo. Della sua esistenza vi è testimonianza in un documento risalente all'anno 897..
.
.
.
Nell'Alto Medioevo i Longobardi eressero questo fortilizio la cui struttura originaria era a base trapezoidale.
Nel corso del Medioevo furono aggiunte le torri cilindriche ancora esistenti ed il ponte elevatoio, oggi scomparso. Tra il XV e il XIX secolo il Castello assunse la configurazione attuale conservando quella tipica Aragonese.
A valle del Castello si sviluppa il centro storico, dalle caratteristiche strade strette su cui affacciano portali artistici scolpiti in pietra locale, le splendide Valli dell'Osento e del fiume Ofanto.
Il Castello fu anche residenza signorile della famiglia Orsini, di Roberto il Guiscardo, Goffredo conte di Andria e nel 1532 del principe di Monaco Onorato Grimaldi; nel 1642 passò a Michele Sangermano e dal 1689 fino all'abolizione dei diritti feudali nel 1806, appartenne alla casata dei Caracciolo.
Nel 1049 divenne sede vescovile e acquistò importanza come vescovato.
Entro le mura del castello esiste una cappella di cui rimane soltanto un’acquasantiera realizzata da Carpencivo per ordine del vescovo Loseto nel 1343.
