Jerry Harrison tocou com Jonathan Richman nos The Modern Lovers quando era estudante de arquitectura na Universidade de Harvard. Ele foi apresentado por um amigo de ambos, Richman. Juntou-se a eles no início de 1971 e então tentaram lançar o seu primeiro álbum em 1972 (o que não aconteceu até 1976). Saiu do grupo em Fevereiro de 1974, quando Richman quis que as suas músicas fossem de carácter mais calmo.

Posteriormente ao seu trabalho com The Modern Lovers, Jerry entrou para os Talking Heads. O grupo já tinha algum destaque na indústria musical quando Jerry se juntou a ele. Os álbuns a solo de Jerry Harrison, feitos nessa época, incluem: The Red and the Black, Casual Gods e Walk on Water.