Monumentale e fascinoso, il castello prende il nome della famiglia che più ha segnato la vita del fortilizio ormai diruto, benché assicurato da opere di ripristino e consolidamento recenti, la famiglia dei conti Carafa. L’edificio fu eretto nel XIII secolo, lì dove ha termine la collina che ospita il paese di Colobraro, difeso dal muro di cinta e, al tempo, dal ponte levatoio. Il forte fu oggetto, dismesse le mansioni belliche successivamente alla fine del medioevo, di ampliamenti e di un riadattamento per la vita nobiliare di residenza.
Sovrasta le forme del paese basilisco, il maniero si apre alla veduta sulla vallata, offrendo uno squisito panorama, che si staglia sino al golfo di Taranto, comprendendo il quartiere arabo di Tursi ed il monte Coppola.
