O local onde o Pavilhão Dourado (designado formalmente por 'Shariden') se situa, foi usado por volta de 1220 como local de descanso para Kintsune Saionji, mas o pavilhão em si só foi construído em 1397, para servir como sítio de descanso para o shogun Yoshimitsu Ashikaga. O seu filho foi o responsável pela conversão num templo Zen de orientação Rinzai. Durante a Guerra de Onin o templo foi queimado várias vezes. O neto de Yoshimitsu criou o Ginkaku-ji inspirado no Kinkaku-ji, e tencionava cobrir o novo templo budista de prata, o que acabou por não conseguir fazer.

Em 1950, o templo foi incendiado por um monge que sofria de perturbações mentais, sendo relatada uma versão ficcionada dos acontecimentos no livro O Templo do Pavilhão Dourado de Yukio Mishima, que foi publicado pela primeira vez em 1956. A estrutura actual data de 1955.