Figlio di un procuratore del siniscalcato dell'Auvergne che morì nel 1765 lasciando la vedova e i sei figli in povertà, Gilbert studiò dagli Oratoriani di Riom mostrando buone attitudini per la matematica, ma scelse di studiare medicina a Parigi. Qui frequentò i circoli illuministi e conobbe il conte Aleksandr Stroganov, che lo scelse come precettore del figlio Pavel. Così, senza aver concluso i suoi studi di medicina, Romme si trasferì nel 1779 a Pietroburgo, dove trascorse cinque anni e poi viaggiò, secondo i canoni del "Grand Tour" pedagogico educativo, con l'allievo in Germania, Svizzera e Italia, ritornando entrambi a Parigi nel febbraio del 1789.