As famílias podem ser divididas em unidades filogenéticas menores, referidas convencionalmente como ramos da família, porque a história de uma família linguística é muitas vezes representada por um diagrama em árvore. Contudo, o termo "família" não se restringe a nenhum nível desta "árvore"; a família germânica, por exemplo, é um ramo da família indo-europeia. Alguns taxonomistas restringem o termo "família" até certo nível, mas há pouco consenso acerca de como o fazer. Aqueles que o fazem normalmente também subdividem os ramos em grupos e os grupos em sub-grupos, etc. Além disso também agregam famílias em filos (também conhecidos como superfamílias). As super famílias são frequentemente usadas para agregar as famílias de línguas índias americanas. Um modo de fazer toda esta classificação é chamado glotocronologia.

O ancestral comum de uma família é conhecido como proto-língua. Por exemplo, a proto-língua reconstruível da bem conhecida família indo-europeia é chamada proto-indo-europeu. Esta língua não é conhecida a partir de registos escritos, uma vez que era falada antes da invenção da escrita, mas por vezes uma proto-língua pode ser assemelhada a uma língua histórica conhecida. Deste modo, dialectos provinciais do latim (o chamado latim vulgar) deram origem às línguas latinas, o que faz com que a língua ancestral às línguas latinas fosse bastante semelhante ao latim (embora menos semelhante ao latim literário dos escritores clássicos); do mesmo modo, os dialectos do nórdico antigo são considerados a proto-língua do norueguês, do sueco, do dinamarquês, do faroês e do islândico.