Di origine isaurica e per questo considerato quasi un barbaro dal popolo di Costantinopoli, Zenone iniziò la carriera militare nella guardia imperiale, e ottenne presto il favore dell'imperatore Leone I, che vide in lui la persona adatta a ridimensionare l'influenza del potente generale germanico Ardaburio Aspare.