Nato ad Anagni intorno al 1170 (e non intorno al 1140 come fu supposto nei secoli scorsi), era figlio di Mattia di Anagni, ed era legato per parte di madre ai Conti di Segni, e quindi imparentato con Innocenzo III: alcune fonti lo citano come nipote di Innocenzo, altre come suo cugino. Proprio in relazione a questo legame, sono comunemente ma erroneamente attribuiti a Ugolino-Gregorio IX, sia l'appartenenza in linea diretta alla stirpe dei Conti di Segni, sia lo stemma dell'illustre casato.