O uso do termo East End em um sentido pejorativo começou no final do século XIX, quando a expansão da população de Londres levou à extrema superlotação de toda essa área e uma concentração de pobres e imigrantes. Os problemas se agravaram com a construção da St Katharine Docks (1827) e de um terminal da ferrovia central de Londres (1840-1875) que causaram a eliminação de antigas favelas, com muitas das pessoas desalojadas se deslocando para East End. Ao longo de um século, East End se tornou sinônimo de pobreza, doenças, superlotação e criminalidade.

A East End desenvolveu-se rapidamente durante o século XIX. Originalmente era uma área caracterizada por aldeias agrupadas em torno das muralhas da Cidade ou ao longo das estradas principais, cercadas por terrenos agrícolas, com pântanos e pequenas comunidades ao longo do rio, atendendo às necessidades da navegação e da Marinha Real Britânica. Até a chegada das docas formais, as mercadorias eram obrigadas a desembarcar no Pool of London, mas as indústrias relacionadas com a construção, reparos e abastecimento de navios floresceram na área a partir do período Tudor. A área atraiu um grande número de pessoas das áreas rurais à procura de emprego na cidade. Sucessivas ondas de imigração estrangeira iniciadas com os refugiados huguenotes criaram um novo subúrbio extramural em Spitalfields no século XVII. Eles foram seguidos por tecelões irlandeses, judeus asquenazes e, no século XX, bengalis. Muitos desses imigrantes trabalharam na indústria do vestuário. A abundância de mão de obra semi e não qualificada resultou em baixos salários e más condições de vida em toda a East End. Isso chamou a atenção dos reformadores sociais durante meados do século XVIII e levou à formação de sindicatos e associações de trabalhadores no final do século. O radicalismo da East End contribuiu para a formação do Partido Trabalhista e Emmeline Pankhurst liderou campanhas pelo direito do voto feminino na área.