Bernabò nacque a Milano, figlio di Stefano Visconti e di Valentina Doria (figlia di Bernabò Doria, figlio a sua volta di Branca Doria). I dati relativi alla sua infanzia sono scarsi. Nel 1340, con i fratelli Matteo e Galeazzo, si unì alla congiura di Francesco Pusterla contro lo zio Luchino Visconti, allora signore di Milano: la congiura venne sventata e Pusterla eliminato ma Luchino non trovò prove contro i nipoti. Nel 1346 una nuova congiura costò questa volta l'esilio ai figli di Stefano, scacciati da Luchino e dall'arcivescovo Giovanni Visconti, fratello di Luchino. Bernabò ripiegò in Savoia, nelle Fiandre, per finire ospite alla corte di Filippo VI di Francia (1348).