A extensão territorial do império variou durante sua história, mas no seu ápice englobou os territórios dos modernos Estados da Alemanha, Áustria, Suíça, Liechtenstein, Luxemburgo, República Tcheca, Eslovênia, Bélgica, Países Baixos e grande parte da Polônia, França e Itália. Na maior parte da sua história, o império consistiu de centenas de pequenos reinos, principados, ducados, condados, Cidades livres imperiais, e outros domínios. Apesar de seu nome, na maior parte da sua existência o Sacro Império Romano-Germânico não incluiu a cidade de Roma em seus domínios, e recebeu este nome em homenagem às glórias e ao poder que o Império Romano deteve em quase todo o continente europeu.

Os primeiros soberanos do Sacro Império, por um curto período, foram os carolíngios, depois os Guideshi, novamente a dinastia carolíngia, depois os Saxões, posteriormente a dinastia saliana, os Süpplingerburg, os Hohenstaufen, os Guelfos, os Wittelsbach, e por maior tempo, desde 1273 até a dissolução do império em 1806, em decorrência das Guerras Napoleônicas, foram os Habsburgos.