A origem do termo é controversa. Pode vir do inglês jam que significa geléia, em alusão à mistura de estilos que esta prática proporciona. Alguns também acreditam que vem das inicias da expressão Jazz after midnight - Jazz depois da meia-noite, pois a maior parte destas sessões acontecem bem tarde, quando o público pagante já se retirou.

Com a popularização do termo e o aumento da proficiência dos músicos, o termo passou a ser usado também em outros gêneros musicais em que a improvisação é usada, como o rock e o choro. Jam-sessions podem ser organizadas por clubes como eventos especiais para atrair público, mas geralmente ocorrem sem nenhuma preparação prévia.