Passou os primeiros anos da sua vida em
Itália, onde o pai era embaixador de
Filipe II de Espanha, junto da
Santa Sé. Tanto o
Papa Clemente VII como o seu pai favoreciam a sua inclinação para os estudos eclesiásticos, por ser o terceiro filho, mas a morte de seus irmãos mais velhos mudou a sua vida. Casou-se com sua prima, Inés de Zúñiga y Velasco. A seu pai devia a habilidade
política, o tacto
diplomático e a astúcia, que o levam ao cargo de primeiro-ministro de
Filipe IV de Espanha. Tanto em
Madrid como em
Sevilha, vive com grande ostentação, o que lhe acarreta dificuldades económicas.
A partir de
1615, faz parte da corte do infante D. Filipe, filiado no partido de Uceda. Quando o infante sobe ao trono, o poder passa para as mãos de Olivares, que manda matar e prender as figuras mais destacadas do reinado anterior, como Rodrigo Calderón.