Os primeiros britânicos a entrarem na baía foram os tripulantes do HMS Lady Nelson, comandado por John Murray e, dez semanas depois, a tripulação do HMS Investigator, comandada por Matthew Flinders, em 1802. Expedições subsequentes para a baía ocorreram em 1803 para estabelecer o primeiro assentamento em Vitoria, perto de Sorrento, mas o abandonou em 1804. Trinta anos depois, colonos da Tasmânia voltaram a se estabelecer na região de Melbourne, agora capital do estado, na foz do rio Yarra. Atualmente, Port Phillip é a bacia mais populosa da Austrália, com uma população estimada em 4,5 milhões de pessoas que vivem em torno da baía; os subúrbios da cidade de Melbourne estendem-se ao redor das costas norte e leste e os da cidade de Geelong se estendem em torno de Corio Bay, braço ocidental da baía.