阿倍仲麻呂の子孫を称するが、系図では竹取物語にもその名が登場する右大臣阿倍御主人の直系の子孫であるという説が有力である。

 

また、一部の古文書では安倍朝臣清明ではなく安倍宿禰清明と記載されるものが散見されるため、「朝臣」を「宿禰」の上位に厳格に位置づける当時の慣習から考えて、安倍御主人からの安倍朝臣姓の家系ではなく、渡来人系の難波吉士族の難波忌寸（のち宿禰）の末裔ではないかとする説もある。いずれにしても古代から続く名門の家柄に生まれている。

 

生年は定かではないが、寛弘二年九月（1005年）に85歳で亡くなったと記録されていることから逆算して延喜二十一年（921年）生まれと推定される。幼少の頃については確かな記録がないが、陰陽師賀茂忠行・保憲父子に陰陽道を学び、天文道を伝授されたということになっている。