Nasceu na rua Orestes, no bairro carioca do Santo Cristo. Filho de Caetano José da Silva, fundidor do Lóide Brasileiro, e de Cacemira Augusta da Silva, conhecida pelo apelido de Filhinha. Seu registro de nascimento foi feito em agosto, motivo pelo qual em algumas obras importantes está consignada a data de 5 de agosto como sendo a de seu nascimento. Sua relação com o violão vem desde a infância. Seu pai era violonista amador, assim como outros amigos que freqüentavam a casa. Estava sempre atento ao movimento musical ao qual prestava enorme atenção. Começou a praticar inicialmente o bandolim, que abandonou pouco depois pelo violão.

Ao terminar o curso primário, empregou-se como operário em uma confecção de calçados. Por essa época já participava de festas e saraus familiares, onde revezava o violão com seu pai. Em uma dessas ocasiões, conheceu o pandeirista Jacó Palmieri e o cantor Augusto Calheiros, figuras que teriam grande importância para seu ingresso na vida profissional.