Figlio del Duca Gian Galeazzo e di Caterina Visconti, sin dall'infanzia l'esistenza di Filippo Maria fu segnata da numerosi problemi fisici. Ancor prima che egli ed il suo fratello maggiore Giovanni Maria fossero concepiti, la madre ebbe diversi aborti, da attribuire probabilmente al rapporto endogamico della coppia ducale: Gian Galeazzo e Caterina erano infatti cugini in primo grado. Temendo la mancata comparsa di una propria discendenza - problematica anche per ragioni di opportunità e di prestigio politici - la coppia fece voto di offrire alla Madonna i proprî futuri figli. Caterina rimase incinta del primogenito Giovanni nel 1388, che nacque lo stesso anno, e nel 1392 venne alla luce Filippo. Ad entrambi fu imposto il secondo nome Maria per ringraziare la Santa Vergine della grazia ricevuta. Sebbene fosse dichiarato sano e robusto - probabilmente per compiacere i genitori, il piccolo Filippo Maria soffrì sin dai primi anni di rachitismo, che gli impedì, anche da adulto, di camminare o stare in piedi per lunghi periodi.