לפני הגעת הספרדים, יושב האזור סביב סן חוזה בידי אינדיאנים. סן חוזה נוסדה ב-29 בנובמבר 1777 כסן חוזה דה גואדלופה (San José de Guadalupe), והיא הייתה העיר האזרחית הראשונה של המושבה הספרדית באלטה קליפורניה. בעיר הייתה קהילה חלקאית והיא שימשה כעזר למתקני הצבא הספרדי שהיו בסן פרנסיסקו ובמונטריי. עם הצטרפותה של קליפורניה לאיחוד בשנת 1850, הפכה סן חוזה לעיר הבירה הראשונה של המדינה.

באמצע המאה ה-20, לאחר יותר מ-150 שנים כקהילה חקלאית קטנה, הכיל אזור סן חוזה כמה מן הקרקעות הלא מפותחות האחרונות באזור מפרץ סן פרנסיסקו. בשלב הזה הוא החל לחוות גידול מהיר באוכלוסייה, שברובו נבע מחיילים משוחררים שחזרו ממלחמת העולם השנייה. העיר המשיכה את התפתחותה בשנות ה-50 ובה-60 על ידי סיפוח קרקעות נוספות. הגידול המהיר בטכנולוגיה, ובתעשיית המיקרואלקטרוניקה בפרט, האיץ את הפיכתה של העיר למטרופולין עירוני.