A Caaba é uma construção cúbica de 15,24 metros de altura, e é cercada por muros de 10,67 metros e 12,19 metros de altura. Ela está permanentemente coberta por uma manta escura com bordados dourados que é regularmente substituída. Em seu exterior, encravada em uma moldura de prata, encontra-se a Hajar el Aswad ("Pedra Negra"), uma pedra escura, de cerca de 50 centímetros de diâmetro, que é uma das relíquias mais sagradas do islã.

A Caaba é o centro das peregrinações (hajj) e é para onde o devoto muçulmano volta-se para as suas preces diárias (salat). É o lugar mais sagrado do Islã.