Segundo filho de Carlos III de Durazzo e Margarida, tornou-se órfão aos 9 anos de idade, quando Nápoles passou a ser governada por sua mãe, como regente. Este período foi agitado e cheio de turbulências devido à fraqueza de Margarida. Havia a disputa entre os partidários de Ladislau, que defendiam sua dinastia e os partidários da Casa de Anjou da França, incluindo o papa Urbano VI, que nomeara Luis de Anjou o rei de Nápoles. Em meio aos tumultos, Margarida e Ladislau fugiram para a fortaleza Gaeta. Em 1389 o novo Papa Bonifácio IX, um napolitano, reconheceu Ladislau como rei de Nápoles, pois enxergava que dessa forma contribuiria para acelerar o fim do Grande Cisma do Ocidente. Bonifácio se mostrou um grande aliado de Ladislau nos anos futuros.

Em setembro de 1389 casou-se com Costanza, filha do conde de Modica, Manfredi Chiaramonte, um senhor da Sicília. Mas o casamento foi rapidamente anulado. Em 1390 sofreu uma tentativa de envenenamento por parte de um arcebispo de Arles, provavelmente a mando de Luis de Anjou. Ladislau sofreu com algumas sequelas ao longo de sua vida.