O Capitão Arthur Phillip, após decidir que a área não era apropriada, moveu-se mais ao norte (onde hoje se encontra Sydney), para estabelecer a primeira colônia, em 26 de janeiro de 1788. Durante o período como colônia penal, mais de 168 mil prisioneiros foram transportados para a Austrália, o que terminou em 1852 (na costa leste) e 1868 (na costa oeste). Os prisioneiros, muitos condenados por pequenos crimes, tinham suas penas transformadas em prisão perpétua, uma vez que o retorno para Inglaterra era praticamente impossível.

Os prisioneiros que pagavam suas penas (em média 7 anos) eram libertados e recebiam terra para plantio, dando início à expansão do continente. A vida dos primeiros colonos era extremamente difícil e poucos se aventuravam além da baía de Sydney. Para se ter uma ideia, as Montanhas Azuis, que hoje se localizam a duas horas de automóvel do centro de Sydney, só foram cruzadas em 1813, ou seja, 25 anos após a primeira frota.