L’origine della città affonda le radici nella notte dei tempi: alcuni la fanno risalire ai Mirmidoni, popolo tessalo, di cui era re Achille e regina Altea, dalla quale inizialmente derivò il nome di Altilia. Poi fu chiamata Altamura oppure per la presenza delle “alte mura” che la circondano. Distrutta dai Saraceni o forse dai Longobardi, la nuova città fu fatta riedificare da Federico II di Svevia nel 1232, secondo uno schema tracciato dallo stesso imperatore, in cima ad un colle isolato di aria pura e balsamica, che gradatamente si eleva a 481 metri sul livello del mare, tra i Monti della Basilicata da una parte e la catena delle Murge dall’altra. Da una pianta del XVII secolo risulta che al borgo antico si accedeva da cinque Porte Grandi che si aprivano all’alba e si chiudevano all’imbrunire: le chiavi di queste porte erano affidate al “Camerlengo”.