O partido foi formado em 17 de dezembro de 1961, 10 dias depois do governo da Rodésia ter banido o Partido Nacional Democrático (NDP). Fundado por Joshua Nkomo, seu presidente, Parirenyatwa como vice-presidente, Ndabaningi Sithole como diretor-executivo, Jason Moyo, Robert Mugabe como secretário de informação e publicidade, Leopold Takawira, seu secretário-externo, e a pedido de Joseph Msika (atualmente vice-presidente do país), o partido foi banido em 1962 pelo governo colonial da Rodésia, e posteriormente se envolveu numa guerrilha contra ele. O braço armado da ZAPU, conhecido como Zimbabwe People's Revolutionary Army (ZIPRA, "Exército Revolucionário Popular do Zimbábue"), foi comandado pelo general Lookout Masuku. ZIPRA é o único movimento militar no mundo que conseguiu derrubar um avião com uma mina terrestre. Depois que a Força Aérea Real da Rodésia começou a bombardear alvos civis em Moçambique e na Zâmbia, a ZIPRA começou a derrubar aviões civis, que estavam sendo utilizados para transportar soldados e materiais para a frente da Rodésia; isto forçou a administração rodesiana a negociar com a ZAPU, e conceder direitos para os negros do Zimbábue.