Galeazzo nacque a Milano, figlio di Stefano Visconti e di Valentina Doria (figlia di Bernabò Doria, figlio a sua volta di Branca Doria). I dati relativi alla sua infanzia sono scarsi. Nel 1340, con i fratelli Matteo e Bernabò, si unì alla congiura di Francesco Pusterla contro lo zio Luchino Visconti, allora signore di Milano: la congiura venne sventata e Pusterla eliminato ma Luchino non trovò prove contro i nipoti. Nel 1343 si recò a Gerusalemme in pellegrinaggio. Rientrato a Milano, una nuova congiura (1346) gli costò questa volta l'esilio insieme ai fratelli, scacciati da Luchino e dall'arcivescovo Giovanni Visconti, fratello di Luchino. Galeazzo era inoltre sospettato di essere amante della moglie di Luchino, la genovese Isabella Fieschi.