Consalvo II, dovendo risiedere in Spagna, decise di vendere il ducato di Andria che fu acquistato da Fabrizio Carafa, conte di Ruvo, il quale ottenne l’investitura da Carlo V nel 1552. Morto nel 1557, gli successe il primogenito Antonio che sposò Adriana Carafa. Quest’ultima, rimasta vedova, resse il ducato e dopo pochi mesi dalla morte del marito diede alla luce Fabrizio II, che ebbe come tutore lo zio, Vincenzo Carafa, il quale partecipò alla battaglia di Lepanto nel 1571.

Giunto alla maggiore età Fabrizio prese il governo del ducato, ma a soli 33 anni fu ucciso da mano anonima. Gli successe il primogenito Antonio II che ebbe delle controversie con il vescovo in carica, ma in parte per volere della madre e dei fratelli religiosissimi, in parte per intervento del papa si rappacificò, sposò Francesca di Lenoy, dalla quale ebbe un figlio, Fabrizio. Morto Antonio II nel 1622, gli successe Fabrizio III che sposò Emilia Carafa, dalla quale ebbe tre figli. Morì nel 1630 e poco dopo venne a mancare anche il figlio primogenito; successe dunque il secondogenito, Carlo.

Andria fu teatro di rivolte sotto Carlo Carafa, che riuscì a domarle e si recò a Napoli per difendere il re dalle sedizioni in corso. Tornato ad Andria, morì nel 1652, lasciando un figlio minore sotto la tutela della madre Costanza Orsini. Nel 1656 si diffuse l’ennesima epidemia di peste, che questa volta mieté 10.000 vittime. Intanto il figlio di Carlo Carafa, Fabrizio IV, raggiunta la maggiore età, sposò Margherita Carafa, dalla quale ebbe un figlio di nome Carlo. Questi gli successe nel 1673 con il nome di Carlo II, ma morì a soli 15 anni. Estintasi la successione in linea diretta dei Carafa, il prozio di Carlo, Ettore, prese il governo del ducato. Negli ultimi decenni del 1600 fu duca Fabrizio V sotto la reggenza della madre Margherita di Sangro. Anche questo fu un periodo di rivolte popolari, anche contro la sede vescovile. Tali rivolte costrinsero il duca, che risiedeva nella villa di Monte Carafa, a rientrare in città per sedare la ribellione. Morto Fabrizio nel 1707, il ducato passò al figlio di appena sette anni, Ettore II. Nel 1768 Riccardo Carafa, succeduto a Ettore, sposò Margherita Pignatelli. Il figlio di Riccardo, Ettore sarà protagonista dell’attacco francese alla città nel 1799.