تعد مكتبة الحرم المكي التابعة للرئاسة العامة لشؤون المسجد الحرام والمسجد النبوي من أقدم المكتبات في العالم الإسلامي ، إذ تعود نشأتها إلى القرن الثاني الهجري في بداية العصر العباسي عام 160هـ.
وتعود تسمية المكتبة بهذا الاسم للعام 1357هـ عندما أمر الملك عبدالعزيز بن عبدالرحمن آل سعود ـ رحمه الله ـ بتشكيل لجنة من علماء مكة المكرمة لدراسة أوضاعها وتنظيمها بما يتفق مع مكانتها وأهميتها وأطلق عليها أسم مكتبة الحرم المكي.
وكانت الانطلاقة الأولى للمكتبة من إحدى قباب الحرم المكي المخصصة لحفظ المصاحف التي ترد إلى الحرم حتى انتقلت عام 1357هـ ولأول مرة إلى خارج الحرم لتكون تابعة لوزارة الحج والأوقاف حتى عام 1385هـ حيث ضمت للرئاسة العامة للإشراف الديني بالمسجد الحرام حتى تغير اسمها إلى الرئاسة العامة لشؤون المسجد الحرام والمسجد النبوي وأصبحت مكتبة عامة تقدم خدماتها لطلاب وطالبات العلم.
وجاءت موافقة خادم الحرمين الشريفين الملك عبدالله بن عبدالعزيز آل سعود ـ حفظه الله ـ على إنشاء مشروع مكتبة الحرم المكي بالقرب من المسجد الحرام في موقع ملائم ، ضمن مشروع توسعة الملك عبدالله التاريخية للمسجد الحرام , تأكيداً على مكانة الحرمين الشريفين وحرص الدولة ـ رعاها الله ـ على العناية بهما والاهتمام بمنظومة الخدمات المقدمة فيهما والأهمية العلمية والمكانة التاريخية لمكتبة الحرم المكي وليشمل التوجيه إنشاء مقر المكتبة بجوار المسجد الحرام ليكون بديلاً دائماً عن المبنى المستأجر الذي تقام فيه المكتبة بحي العزيزية وفق التصاميم الكاملة والخطط الهندسية للمشروع في أرقى طراز وأحسن مستوى وأبدع تصميم يليق بمكانة المسجد الحرام وكل ما يتعلق به ، ولا سيما مكتبة الحرم العريقة التي يمتد عمرها إلى اثني عشر قرناً في خدمة العلم ورواده.