O local onde o Pavilhão Dourado (designado formalmente por 'Shariden') se situa, foi usado por volta de
1220 como local de descanso para Kintsune Saionji, mas o pavilhão em si só foi construído em
1397, para servir como sítio de descanso para o
shogun Yoshimitsu Ashikaga. O seu filho foi o responsável pela conversão num
templo Zen de orientação
Rinzai. Durante a Guerra de Onin o templo foi queimado várias vezes. O neto de Yoshimitsu criou o
Ginkaku-ji inspirado no Kinkaku-ji, e tencionava cobrir o novo templo
budista de
prata, o que acabou por não conseguir fazer.