سرق القرامطة الحجر الأسود في عام ثلاثمئة وسبعة عشر، وقد كانت بداية ذلك عندما دخل أبو طاهر الجنّابي القرمطي إلى مكة المكرمة في وقت الحج؛ وكان يوم دخوله هو يوم التروية، فقتل الحجاج، وألقى القتلى في بئر زمزم، وخلع ثوب الكعبة وقلع بابها، وسرق منها الحجر الأسود.