A família Spencer descende, através de um linha masculina, de um certo Henry Spencer (falecido provavelmente em 1478), também descendente das dinastias Stuart e Orange, e um ancestral dos Condes de Sunderland, os futuros Duques de Marlborough, dos Condes Spencer e de Lady Diana Spencer, a falecida Princesa de Gales. Entretanto, é claro que existem diversas famílias Spencer, espalhadas pelo mundo; algumas sem qualquer proximidade genealógica.