Wilford Woodruff foi um dos nove filhos de Afec Woodruff, um moleiro de
Farmington (Connecticut). A mãe de Wilford morreu em
1808, aos 26 anos de idade, quando Wilford era apenas um bebê. Ainda jovem, Wilford trabalhava em uma serraria e um moinho de farinha de propriedade de seu pai.