As origens da Marinha Imperial Japonesa podem ser rastreadas até as primeiras interações com as nações no continente asiático, o que remonta ao período medieval e atinge seu ápice durante os séculos XVI e XVII, num tempo de intercâmbio cultural com as potências europeias durante a Era dos Descobrimentos. Após dois séculos de estagnação durante o período da política de isolamento defendida pelos xoguns do período Edo, a marinha do Japão estava comparativamente obsoleta quando o país foi forçado a abrir-se para o comércio exterior, por conta da intervenção estadunidense de 1854. Eventualmente, isto levou à Restauração Meiji. Acompanhando a reafirmação do poder imperial, seguiu-se um período frenético de modernização e industrialização.

A história dos sucessos da marinha imperial, algumas vezes contra inimigos muito mais poderosos, como na Guerra Sino-Japonesa e na Guerra Russo-Japonesa, terminou em quase completa aniquilação durante os últimos dias da Segunda Guerra Mundial, em grande parte graças à Marinha dos Estados Unidos da América (USN). Em 1947, a MIJ foi dissolvida oficialmente.