A banda foi fundada por Janires no final da década de 1970. No começo da década de 1980 Janires se mudou para o Rio de Janeiro onde junto com Pedro Braconnot integraram mais músicos da Igreja Presbiteriana de Copacabana, nos quais foram Paulo Marotta, Kandell Rocha, Zé Alberto e Carlinhos Felix. Alberto saiu logo no primeiro álbum, enquanto Janires e Kandell se desligaram em 1985, dando lugar ao músico Fernando Augusto. Durante vários anos, a banda esteve estável em sua estrutura, em fase da formação clássica. Entre 1990 e 1992, Fernando, Carlinhos e Paulo deixaram a banda, e Pedro Braconnot assumiu a liderança com outros músicos convidados até 2000.

Durante seus anos de carreira, o Rebanhão realizou vários feitos, nos quais é considerado o primeiro precursor de grande relevância do rock cristão, apesar de muitos o considerarem como uma banda mais próxima do pop. Também foi o primeiro grupo a se apresentar em grandes casas de shows e ter lançado o primeiro álbum cristão no formato CD, tal qual também é considerado o primeiro lançamento a partir do movimento gospel. Juntamente a outros artistas da época, durante vários anos manteve contrato com grandes gravadoras, nas quais estavam fora do círculo religioso.