Wurmser iniziò la sua carriera militare al servizio dei francesi, prese parte all'invasione di Bellisles in Boemia e si distinse nella Guerra dei sette anni. Passò quindi al servizio dell'Austria diventando nel 1763 maggior generale, nel 1773 capo di un reggimento di ussari e qualche anno dopo fu nominato Feldmaresciallo.