Em 1686, Robert Blackwell adquiriu esta ilha aos nativos americanos e a designou com o seu próprio nome. Só em 1828 a cidade de Nova York a adquiriu por 32.000$ (trinta e dois mil dólares) destinando-a para uma prisão e asilos. 2 Décadas depois, Charles Dickens vem expôr as condições doentias dos residentes na ilha e essas infraestruturas são encerradas. A ilha fica deserta e desabitada até à década de 70 quando foi iniciado um novo plano de habitação.