Três fases distintas de construção podem ser identificadas. Durante a República, havia dois prédios menores situados em um eixo distinto, alinhado com os pontos cardeais. Um palácio maior foi construído depois do grande incêndio de 64, que forneceu as bases para o palácio que cujas ruínas permanecem visíveis atualmente. Este foi construído por Domiciano  e depois Trajano , e restaurado por Septímio Severo , após o incêndio de 191 Este palácio está alinhado no eixo nordeste-sudeste, alinhando-se ao Fórum. Foi ocupado pelas Vestais até a proibição decretada por Teodósio I  dos cultos pagãos em Roma, após o que serviu como residência administrativa imperial e depois foi abandonado.

A Casa das Vestais era um palácio de três andares e 50 cômodos construído em volta de um elegante átrio alongado, com três espelhos d'água. Ao longo do pórtico estavam dispostas as estátuas das vestais que presidiam o grupo das seis sacerdotisas (virgo vestalis maxima); algumas delas ainda se encontram no local e outras se encontram no Museu Nacional Romano (Palácio Massimo das Termas). Do lado leste ficava um tablino (tablinum) com seis câmaras correspondentes a cada uma das vestais, e onde se acredita que havia um santuário a Numa Pompílio , mítico rei romano fundador do colégio sacerdotal das Vestais.