Possui uma das mais acidentadas paisagens da região costeira brasileira, com todas as características de relevo jovem. Com o aspecto geral de um conjunto montanhoso – formado pelo Maciço de São Sebastião e Maciço da Serraria, além da acidentada Península do Boi –, a Ilha de São Sebastião se destaca como um dos acidentes geográficos mais elevados e salientes do litoral paulista, tendo como pontos culminantes o Pico de São Sebastião, com 1379 metros de altitude; o Morro do Papagaio, com 1307 metros; e o Morro da Serraria, com 1285 metros.

Banhado pelo oceano Atlântico, o município está localizado a 135 quilômetros da capital e a 140 quilômetros da divisa com o estado do Rio de Janeiro. Está situada um pouco ao sul do Trópico de Capricórnio, que passa sobre a cidade vizinha de Ubatuba.