Secondo la tradizione storiografica, Federico II fu così affascinato dalla Murgia, territorio rigoglioso come un “giardino di delizie”, che decise di realizzare a Gravina una domus e un parco per la caccia. L’imperatore vi soggiornò certamente tra gli anni Venti e Trenta del XIII secolo, quando un architetto fiorentino di nome Fuccio terminò la costruzione di un castello “cinto di mura per l’uccellagione”.

Sulla strada per Corato è possibile ammirare ciò che resta oggi della struttura federiciana: su un colle emergono i muri perimetrali di una struttura rettangolare lunga circa 58 metri, con un piano superiore che ospitava gli ambienti residenziali, uno inferiore con depositi, scuderie e alloggi di servizio, e un ampio cortile interno. Come la domus di Foggia e i castelli di Lucera e Castel del Monte, anche il castello di Gravina venne costruito ex novo: risale allo stesso periodo l’elezione di Gravina come sede della curia generale per l’amministrazione della giustizia tra Puglia, Basilicata e Capitanata, insieme allo sviluppo di attività legate all’allevamento del cavallo pugliese nell’area che prenderà il nome di “Cavallerizza”.