Era un figlio illegittimo di un distinto colonnello di fanteria, Gonzalo Pizarro Rodríguez de Aguila, detto "el largo" che, al seguito del grande condottiero spagnolo Gonzalo Fernández de Córdoba, si distinse nelle campagne militari in Italia e in Navarra. La madre, tale Francisca Gonzales y Mateos, era una donna di umili origini, probabilmente una fantesca della sorella del colonnello, Beatríz Pizarro.