O seu pai, Benjamin Kanne, era veterano da Primeira Guerra Mundial e faleceu quando Clark era ainda uma criança. Depois da morte do pai, a sua mãe Veneta levou-o a viver em Little Rock, Arkansas, e aí contraiu segundas núpcias com Victor Clark, um ex-banqueiro que se converteria em padrasto de Wesley e lhe daria o apelido com que actualmente é conhecido. Clark só ficou sabendo que possuía ascendência judaica após se tornar adulto, pois sua mãe omitiu este fato para protegê-lo da Ku Klux Klan.

Em 1962 foi aceite na academia militar de West Point para assim dar início a 38 anos de serviço militar. Durante a estadia na academia conheceu Gertrude Kingston num baile oferecido aos membros de escola naval, e casou com ela. Terminou em primeiro lugar do seu ano e ganhou uma bolsa de estudo para cursar Política, Filosofia e Economia na Universidade de Oxford em Inglaterra. Aos 25 anos e com a patente de capitão comandou uma companhia de infantaria mecanizada na guerra do Vietname, sendo ferido com 4 projécteis em combate. O seu desempenho no sudeste asiático fê-lo ser agraciado com a medalha de prata do exército dos EUA.