Jean-Baptiste Colbert era o primogênito de Nicolas Colbert, um comerciante de tecidos de Reims, e Marie Pussort. Apesar de sua família dizer descender de nobres escoceses, não há nenhuma prova disto, e a invenção de antepassados nobres era uma prática comum aos plebeus. Estudou num colégio dos jesuítas. Trabalhou para um banqueiro de Paris, e para o pai do poeta Jean Chapelain em 1634.

Passa depois ao serviço de seu bisavô, Jean-Baptiste Colbert de Saint-Pouange, primeiro comissário do Ministério da Guerra de Luis XIII. Em 1640, com 21 anos, seu pai empenha suas relações amorosas e de fortuna para lhe comprar o cargo de Comissário ordinário de guerra. Este posto o obrigou a inspeccionar as tropas, o que lhe deu uma certa notoriedade.