Ludovico era figlio del duca dell'Alta Baviera Ludovico II (il Severo) e di Matilde d'Asburgo. Trascorse gli anni dal 1294, anno della morte del padre, fino al 1301 a Vienna, alla corte degli Asburgo. Nel 1301 divenne Duca reggente di Baviera, assieme al fratello Rodolfo. Nel 1308 sposa la figlia del duca di Svevia Beatrice, che però muore già nel 1322. È un principe tedesco che incute rispetto già nel 1310, quando costringe il fratello a dividere il ducato (si riconcilieranno nel 1313), e sconfigge il proprio cugino Federico il Bello d'Asburgo nella battaglia di Gammelsdorf. Nel 1324 Ludovico sposa a Colonia Margherita d'Olanda, contessa di Hainaut e Olanda, ampliando l'influenza dei Wittelsbach. Nel 1340 eredita anche la bassa Baviera e pone suo figlio Ludovico a capo della marca del Brandeburgo. Nel 1345 eredita, attraverso la moglie Margherita, Olanda, Zelanda e Hainaut. La potenza dei Wittelsbach è ora davvero notevole. Monaco di Baviera diventa una splendida capitale. Ludovico perseguiva una politica molto attenta verso le città, e tentava di uniformare la giurisdizione nei propri territori.