Gian Pietro Carafa nacque il 28 giugno 1476 a Capriglia, in Irpinia, da Giovanni Antonio dei conti Carafa della Stadera, una delle più nobili famiglie del Regno di Napoli, e da Vittoria Camponeschi, figlia di Pietro Lalle, ultimo conte di Montorio; fu il terzo di nove figli. La famiglia affidò la sua educazione allo zio cardinale Oliviero Carafa. Raffinato cultore di lettere e mecenate, lo avviò allo studio del greco e dell'ebraico.