הרייט טיילור מיל נולדה בשנת 1807 כ"הרייט הרדי", ונישאה לבעלה הראשון, ג'ון טיילור, בשנת 1826, בהיותה בת שמונה עשרה. הזוג הביא לעולם שלושה ילדים: הרברט, אלג'רנון והלן. ג'ון והרייט טיילור הפכו לפעילים בכנסייה האוניטרית ופיתחו דעות רדיקליות בשדה הפוליטיקה. הם הפכו לידידיו של הכומר האוניטרי ויליאם פוקס, שהיה בין התומכים המוקדמים בזכות ההצבעה לנשים. פעילותם הרדיקלית הביאה למפגש, בשנת 1830 בינם ובין הפילוסוף ג'ון סטיוארט מיל.

טיילור נמשכה למיל, שהיה הגבר הראשון שהכירה שהתייחס אליה כשווה מבחינה אינטלקטואלית. מיל התרשם מטיילור וביקש ממנה לקרוא ולהעיר את הערותיה על הספר שאותו כתב באותה העת. השניים הפכו לידידים טובים, ונראה כי החלו במערכת יחסים רומנטית בעודה נשואה לטיילור.