Da parte del padre, Carlo Albani (1623-1684), discendeva da una nobile famiglia di antiche origini albanesi (capostipite degli Albani, in Italia, fu Filippo de' Laçi detto "l'albanese", che era un capitano delle truppe di Giorgio Castriota Scanderbeg e si trasferì a Urbino dopo la morte dell'eroe, nel 1468), mentre la madre Elena apparteneva alla famiglia dei marchesi Mosca di Pesaro, d'antiche origini lombarde (più precisamente, bergamasche).