Nato in Siria, si trasferì nel monastero del Sinai all'età di sedici anni, diventando novizio sotto l'egida di un monaco chiamato Martyrius. Quando quest'ultimo morì, Giovanni, desiderando praticare a sé stesso le più grandi mortificazioni corporali, si trasferì in una caverna ai piedi del monte, dove iniziò a vivere come eremita. Rimase in quel luogo all'incirca per venti anni, studiando la dottrina cristiana e le vite dei santi e ponendo le basi per diventare uno dei più conosciuti Dottori della Chiesa. Nel 600, quando fu intorno ai settantacinque anni, i monaci lo persuasero a lasciare il monastero di Raithu sul Mar Rosso, dove si era nel frattempo rifugiato, e a diventare il loro abate. I suoi agiografi raccontano che dimostrò tale saggezza in materia di fede, Dopo quattro anni rassegnò le proprie dimissioni da abate e tornò al suo eremitismo per prepararsi alla morte.