Vigors nacque a Old Leighlin, nella contea di Carlow. Studiò al Trinity College di Oxford. Combatté nella guerra peninsulare dal 1809 al 1811. Poi tornò a Oxford, dove si laureò nel 1817.