A área onde está localizada a mesquita era originalmente adjacente à casa de Maomé e foi ali onde depois ele estabeleceu sua Hijra (emigração) para Medina, em 622. O profeta ajudou no trabalho pesado de construção e a mesquita original era um edifício aberto ao ar livre. O plano básico deste edifício foi adotado na construção de várias outras mesquitas ao redor do mundo.

A mesquita também serviu como um centro comunitário, um tribunal e uma escola religiosa. Havia uma plataforma para as pessoas que ensinavam o Alcorão. Os governantes islâmicos subsequentes expandiram e decoraram ainda mais o prédio. Em 1909, o edifício tornou-se o primeiro lugar na Península Arábica a ter luz elétrica. A mesquita está sob o controle do Guardião dos Lugares Santos.