Os castelos japoneses passaram por várias fases de destruição. Durante o Xogunato Tokugawa foi decretado uma lei para limitar o número de castelos que cada daimyo ou senhor feudal podia possuir, limitado, a um por feudo, pelo que vários foram destruídos. Depois da derrocada do sistema xogunal e da volta ao poder do Imperador do Japão durante a Restauração Meiji, novamente muitos castelos foram destruídos e alguns outros desmantelados, no intuito de romper com o passado e modernizar o país. Durante a Segunda Guerra Mundial, muitos castelos foram destruídos pelos bombardeios nas regiões da costa do Oceano Pacífico, e somente alguns deles localizados em áreas remotas, como o Castelo Matsue e o Castelo Matsumoto, permaneceram intactos.

Após a Segunda Guerra Mundial muitos castelos foram sido reconstruídos com materiais modernos, como concreto, embora em alguns tenham sido utilizados os materiais originais e seguindo a mesma técnica que em sua época de esplendor. Atualmente só 12 mantiveram sua estrutura original conservada, destacando-se o Castelo Himeji, localizado em Hyogo. Dos castelos existentes, sejam originais, reconstruídos ou em ruínas, muitos têm recebido o estatuto de Patrimônio da Humanidade pela UNESCO, enquanto que outros tem sido designados Tesouros Nacionais.