Stroop era filho de um policial e com apenas uma educação elementar foi trabalhar como aprendiz num cartório de registro de terras em sua cidade natal de Detmold até a I Guerra Mundial. Durante a guerra se alistou no exército alemão aonde chegou à patente de sargento, voltando ao seu trabalho anterior ao fim do conflito.

Passando a integrar a SS em 1932, Stroop serviu em diversas funções antes da II Guerra chegando ao posto de SS-Standartenführer em 1938. Com a invasão da Polônia no ano seguinte, ele comandou a SS na cidade de Gniezno. Em maio de 1941, por razões ideológicas, mudaria seu nome de Josef ( o nome de Stalin ) para Jürgen.