A ilha foi descoberta em 21 de agosto de 1821 pelo navio britânico Eliza Francis, e foi nomeada pelo seu comandante, Capitão Brown. Foi anexada pelos Estados Unidos em 1858, mas abandonada em 1879 depois que toneladas de guano já haviam sido removidos. A Grã-Bretanha anexou a ilha em 1889, mas nunca realizou planos de exploração. Os depósitos de guano foram minerados até o final do século XIX. Os EUA ocuparam e exigiram a ilha em 1935.

O povoado de Millersville, na parte oeste da ilha, foi utilizado como uma estação meteorológica de 1935 até o início da Segunda Guerra Mundial, quando foi então abandonado; só foi reocupado em 1957 por cientistas, durante o Ano Internacional da Geofísica, porém novamente abandonado em 1958.