La ville de Castres-en-Albigeois était au Moyen Âge une dépendance de la vicomté d'Albi. Les Trencavel vicomtes d'Albi accordèrent à la ville une charte instituant une Commune et la ville fut dirigée par des consuls. Pendant la croisade des Albigeois, la ville se rendit rapidement à Simon de Montfort, qui la donna en fief à son frère Guy de Montfort.