Alberto era figlio del duca Alberto IV d'Asburgo (morto nel 1404) e della duchessa Giovanna di Baviera-Straubing. Durante la sua minorità furono i suoi tre zii, dapprima Guglielmo I, detto il Docile, quindi Leopoldo IV, detto il Superbo ed infine Ernesto I di Stiria, ad occuparsi del governo, tra tensioni e liti crescenti. Solamente l'improvvisa morte di Leopoldo fece sì che Alberto potesse iniziare a prendere in mano le redini del potere. I suoi precettori erano stati Andreas Blank, che in seguito divenne vescovo di Frisinga, e Reinprecht von Walse.