Fratello dello scrittore Victor Hugo (dal quale lo separavano sedici mesi di differenza ) e dello storico Abel Hugo, Eugène è il secondogenito del generale Joseph Léopold Sigisbert Hugo (1773‑1828) – nominato conte da Giuseppe Bonaparte, re di Spagna – e di Sophie Trébuchet (1772‑1821). Eugène mostrò sintomi di psicosi dopo una delusione sentimentale e finì la sua vita in un manicomio.