Goldwater rejeitava o legado do New Deal e lutou dentro da coalizão conservadora para derrotar a coligação do New Deal. Mobilizou um grupo de militantes conservadores para ganhar as primárias republicanas de 1963. Acusado de extremismo, usou o seu discurso de vitória nas primárias para contra-atacar: "Extremismo na defesa da liberdade não é um vício!… Moderação na busca da justiça não é uma virtude!" Perdeu a eleição presidencial de 1964 para o democrata Lyndon Johnson por uma das maiores margens da história, arrastando consigo muitos candidatos republicanos ao congresso. A campanha de Johnson e outros críticos destacavam-no como reacionário, enquanto os seus apoiantes militavam contra a União Soviética, os sindicatos e o estado-providência. A sua derrota permitiu a Johnson e aos congressistas democratas passar os programas da Great Society, mas a derrota de muitos republicanos tradicionais em 1964 também abriu caminho para a mobilização de novos conservadores. Goldwater foi menos activo como líder dos conservadores depois de 1964. Os seus apoiantes voltaram o seu apoio para Ronald Reagan que se tornou governador da Califórnia, em 1967, e presidente, em 1981.

Goldwater voltou ao senado em 1969 e especializou-se na política de defesa, aproveitando a sua experiência enquanto oficial da força aérea. A sua maior obra terá sido a passagem do Goldwater Nichols Act de 1986, que reestruturou os níveis superiores do Pentágono, aumentando o poder do presidente do conselho de chefes de junta na direção da ação militar.