Inizialmente destinato alla carriera ecclesiastica, Giuseppe frequentò dal 1778 il collegio di Autun per qualche tempo, rimanendo comunque già subito coinvolto nella causa di liberazione della Corsica, iniziativa che abbandonò presto per quella della Francia dopo numerosi diverbi avuti con Pasquale Paoli che la sua famiglia aveva in un primo tempo sostenuto nella lotta indipendentista dell'isola e che poi aveva abbandonato definitivamente quando la Repubblica di Genova aveva venduto l'isola ai francesi.