Seu local de nascimento é incerto, porém acredita-se que foi próximo a Stavropol, na Rússia meridional. Estudou por curto período no Instituto Técnico para o Transporte Aquático de Rybinsk, antes de se juntar ao Komsomol em 1930. Ele concluiu a graduação em 1939 foi o primeiro secretário do Komsomol na república da Carélia Finlandesa, entre 1940 e 1944. Após a guerra, mudou-se para Moscou em 1951 e entrou para secretaria do partido.

Após a morte de Josef Stalin em março de 1953, Andropov foi rebaixado de posto e enviado para um "exílio" na embaixada soviética em Budapeste por Georgi Malenkov. Ele teve um papel importante na invasão soviética da Hungria em 1956. Andropov voltou a Moscou para chefiar o Departamento para Relações com Países socialistas (1957-1967) e foi promovido para o secretariado do Comitê Central do PC Soviético em 1962, sucedendo a Mikhail Suslov. Em 1967 foi indicado para chefe da KGB. Em 1973 se tornou membro pleno do Politburo, apesar de não ter renunciado à chefia da KGB até 1982.