Carlo nacque al Palazzo Reale di Madrid. Suo padre, Luigi, principe di Piacenza, era un membro della casa di Borbone-Parma, figlio ed erede di Ferdinando, duca di Parma. Sua madre, Maria Luisa, infanta di Spagna, era figlia del re Carlo IV di Spagna. Si erano sposati nel 1795, quando il principe ereditario di Parma era venuto a Madrid in cerca di una moglie. La coppia rimase in Spagna per i primi anni della loro vita coniugale e Carlo nacque a Madrid, alla corte del nonno materno e venne rappresentato nel famoso ritratto di Francisco Goya della famiglia di Carlo IV, tra le braccia di sua madre.