Suo padre era Ulysses F. Doubleday, editore che ha combattuto nella guerra del 1812. Dopo aver frequentato la scuola locale si trasferì da suo zio a Cooperstown e successivamente, dopo aver praticato l'attività di ingegnere civile per alcuni anni si iscrisse all'Accademia Militare degli Stati Uniti