O seu pai, Benjamin Kanne, era veterano da
Primeira Guerra Mundial e faleceu quando Clark era ainda uma criança. Depois da morte do pai, a sua mãe Veneta levou-o a viver em
Little Rock,
Arkansas, e aí contraiu segundas núpcias com Victor Clark, um ex-banqueiro que se converteria em padrasto de Wesley e lhe daria o apelido com que actualmente é conhecido. Clark só ficou sabendo que possuía ascendência judaica após se tornar adulto, pois sua mãe omitiu este fato para protegê-lo da
Ku Klux Klan.
Em
1962 foi aceite na academia militar de
West Point para assim dar início a 38 anos de serviço militar. Durante a estadia na academia conheceu Gertrude Kingston num baile oferecido aos membros de escola naval, e casou com ela. Terminou em primeiro lugar do seu ano e ganhou uma
bolsa de estudo para cursar Política, Filosofia e Economia na
Universidade de Oxford em
Inglaterra. Aos 25 anos e com a patente de capitão comandou uma companhia de infantaria mecanizada na
guerra do Vietname, sendo ferido com 4 projécteis em combate. O seu desempenho no sudeste asiático fê-lo ser agraciado com a
medalha de prata do exército dos EUA.