O nome de nascimenro de Abu Ayyub era Khalid ibn Zayd ibn Kulayb in Yathrib ou Khalid ibn Zayd ibn Kulayb ibn Tha'laba . Era membro do clã de judeus Banu Najjar, da tribo Banu Khazraj, com a qual Maomé era aparentado. A sua fama está ligada à sua qualidade de (estudioso do hadith, a história e direito islâmicos) e foi popularizado por um grande número de hadiths ("episódios") realcionados com o Profeta e a devoção a este. Abu Ayyub foi um dos primeiros convertidos.

Quando Maomé chegou a Medina, todos os habitantes daquela cidade lhe ofereceram alojamento, mas ele quis ficar com os Banu Najjar, com os quais eles era vagamente aparentado. Depois de ter indagado quem poderia ser o seu familiar mais próximo entre os Banu Najjar, Maomé foi apresentado a Abu Ayyub al-Ansari, com que ficaria durante sete meses. Segundo outra versão, Abu Ayyub foi dos primeiros habitantes de Medina a oferecer a sua casa a Maomé. A casa do profeta em Medina foi construída ao lado da de Abu Ayyub, onde também se ergueu a primeira mesquita do Islão, onde está sepultado Maomé e os dois primeiros califas.