Matteo nacque a Milano, figlio primogenito di Stefano Visconti e di Valentina Doria (figlia di Bernabò Doria, figlio a sua volta di Branca Doria). I dati relativi alla sua infanzia sono scarsi. Nel 1340, con i fratelli Galeazzo II e Bernabò, si unì alla congiura di Francesco Pusterla contro lo zio Luchino Visconti, allora signore di Milano: la congiura venne sventata e Pusterla eliminato ma Luchino non trovò prove contro i nipoti. Nel 1342 sposò Egidiola Gonzaga, figlia di Filippino Gonzaga. Per colpa di una nuova congiura inconcludente (1346) Matteo dovette fuggire da Milano insieme ai fratelli, scacciati da Luchino e dall'arcivescovo Giovanni Visconti, fratello di Luchino. Matteo riparò nel Marchesato del Monferrato.