Era la figlia primogenita di Giovanni di Gand, duca di Lancaster e della sua consorte e cugina, Bianca di Lancaster (1345-1369), figlia di Enrico di Grosmont, primo duca di Lancaster e di Isabella di Beaumont. Filippa passò l'infanzia nei vari palazzi di proprietà del padre quale il Savoy Palace di Londra e venne educata insieme alla sorella Elisabetta di Lancaster, Duchessa di Exeter (prima del 21 febbraio 1363-24 novembre 1426), più giovane di lei di tre anni e al fratello Enrico di sei anni minore. Sua madre Bianca morì durante l'epidemia di Peste nera del 1369 e due anni dopo suo padre si rimaritò con Costanza di Castiglia, figlia di Pietro I di Castiglia e dopo essere rimasto di nuovo vedovo nel 1393 si sposò con Katherine Swynford sua amante da moltissimi anni che era stata anche una delle governanti di Filippa. Il matrimonio divenne oggetto di scandalo e negli anni seguenti ella avrebbe sempre cercato di mantenere un certo riserbo per preservarsi dall'imbarazzo. Tuttavia pare che Filippa e i suoi fratelli abbiano apprezzato Katherine che esercitò una certa influenza sulla loro educazione, ella era cognata del poete Geoffrey Chaucer, giacché sua sorella Philippa Roet ne era la moglie, e Giovanni di Gand di Chaucer era il mecenate, quindi il poeta passò diverso tempo con Filippa e i suoi fratelli. Per gli standard dell'epoca ella divenne una ragazza ben educata, studiò le scienze sotto la guida di un frate, la poesia le venne insegnata da Jean Froissart, mentre la filosofia e la teologia le vennero insegnate da John Wyclif. Studiò anche i classici latini e greci quali Plinio il Vecchio) ed Erodoto.