O museu encontra-se localizado num palácio dos finais do século XVII, mandado construir por D. Francisco de Távora, primeiro conde de Alvor. O Palácio é conhecido como Palácio de Alvor-Pombal pois, em 1759, após o Processo dos Távoras, o edifício foi adquirido em leilão por Paulo de Carvalho e Mendonça, irmão de Marquês de Pombal que, por morte do primeiro, passou a ser proprietário do palácio. Em 1879 o palácio foi alugado, e posteriormente adquirido, pelo estado português para nele instalar o Museu Nacional de Bellas Artes e Arqueologia, inaugurado oficialmente em 11 de Maio de 1884 .

O palácio confinava a oeste com o Convento de Santo Alberto, primeiro mosteiro de freiras carmelitas descalças em Lisboa, cujo patrono era Santo Alberto, razão pela qual era também conhecido por Convento das Albertas . Em 1890, aquando da morte da última freira, o estado toma posse do Convento de Santo Alberto, entregando em 1891 a sua tutela ao museu pois já na altura era reconhecida a necessidade de aumentar o espaço físico do mesmo. Derrubado o Convento, no seu lugar foi construído o edifício poente, também conhecido como "anexo", inaugurado em 1940 com a exposição "Primitivos Portugueses".