A canção apresenta Simon na guitarra acústica e ambos cantando. Ela foi originalmente gravada como uma parte acústica para seu primeiro álbum Wednesday Morning, 3 A.M.  em 1964, mas por iniciativa do produtor da gravadora, Tom Wilson, mais tarde foi sobreposta com tambores (Bobby Gregg), baixo elétrico (Bob Bushnell) e guitarra (Al Gorgoni), tudo sem o conhecimento ou a participação de Simon & Garfunkel, e relançado como single em setembro de 1965. O single atingiu número um no dia de Ano-Novo de 1966, e foi incluída no álbum do mesmo ano, Sounds of Silence.

The Sound of Silence foi originalmente chamada The Sounds of Silence, e foi intitulada dessa forma nos primeiros álbuns em que apareceu e no lançamento do primeiro single; apenas em compilações mais tarde seria renomeada The Sound of Silence. Tanto no singular como no plural aparecem nas letras.