// أساسيات البيانات الموزعة
صمّم زاحف ويب (web crawler)
مسار تصميم الأنظمة · 20 دقيقة
- ترسم دورة الزحف كاملة: روابط البداية، ثم طابور الروابط، ثم الجالبات، ثم المحلل، ثم إزالة التكرار، ثم العودة إلى الطابور.
- تشرح لماذا يحتفظ طابور الروابط بطابور مستقل لكل موقع، وكيف يجعل ذلك الزاحف مهذباً.
- تعرف الأشياء الثلاثة التي تكسر الزواحف الحقيقية (قلة الأدب، والمصائد، والانهيارات) والدفاع ضد كل واحد منها.
تخيل شخصاً كُلّف بأن يزور كل محل في سوق كبير ويكتب ما فيه. يدخل محلاً، يسجل بضاعته، ويسأل صاحبه عن عناوين محلات أخرى يعرفها، ثم يضيفها إلى قائمته ويكمل. هذا بالضبط ما يفعله زاحف الويب (web crawler): ينزّل صفحة، ويقرأ الروابط التي فيها، ويضيفها إلى قائمة، ويكرر ذلك بلا توقف.
كل محرك بحث، وكل موقع يقارن الأسعار، وكل أرشيف للويب يبدأ بهذا البرنامج البسيط. الفكرة تُكتب في سطر واحد. أما الهندسة فهي كل ما حولها: مليارات الصفحات، ومواقع ستحظرك إن ضغطت عليها، وقائمة مهام يجب ألا تنسى أبداً أين توقفت.
تبدأ من عدد قليل من روابط البداية (seed URLs): صفحات موثوقة مليئة بالروابط. وكل ما عداها تكتشفه في الطريق.
لنقل إن الهدف مليار صفحة في الشهر. الشهر فيه نحو 2.6 مليون ثانية، إذن 1,000,000,000 ÷ 2,600,000 ≈ 400 صفحة في الثانية، ليلاً ونهاراً.
جهاز واحد يجلب 50 صفحة في الثانية سيحتاج 1,000,000,000 ÷ 50 = 20 مليون ثانية، أي نحو 8 أشهر، لينجز عمل شهر واحد. تحتاج 8 أجهزة على الأقل، وأكثر من ذلك لتترك هامشاً للطوارئ. يعني أن هذا نظام موزّع من أول رسمة.
طابور الروابط (URL frontier) هو قائمة الروابط التي تنتظر التنزيل. وهو يجيب عن سؤالين: أي صفحة ننزّل بعد ذلك، وبأي سرعة يحق لنا أن نطرق باب كل موقع.
الأدب هنا يعني طابوراً مستقلاً لكل موقع. كل روابط الموقع الواحد تنتظر في صفها الخاص، ولا يفتح العامل أكثر من طلب واحد في الوقت نفسه لكل موقع، مع استراحة بين الطلب والآخر. هكذا يُزار موقع فيه ألف صفحة بهدوء وانتظام، ولا يُغرق بالطلبات.
والأولوية تعمل بالتوازي مع ذلك: الصفحات التي تتغير كثيراً أو أهميتها أكبر تتقدم في الدور. الصفحة الرئيسية لموقع أخبار تسبق موضوعاً قديماً في منتدى من سنة 2009. ولو جمعنا كل الروابط في طابور واحد كبير لفشلنا في المهمتين، فقد نرسل خمسين طلباً إلى موقع واحد مسكين في الثانية نفسها.
الجالبات (fetchers) عمّال بسطاء لا يحتفظون بأي حالة. كل واحد يأخذ رابطاً من طابور أحد المواقع، وينزّل الصفحة، ويسلّم محتواها للمرحلة التالية. وإذا مات أحدهم، يكمل غيره العمل.
عنق الزجاجة الخفي هنا هو الـDNS، الخدمة التي تحوّل اسماً مثل example.com إلى عنوان IP. كل اسم موقع جديد يعني سؤالاً قد يأخذ مئات الملّي ثواني، وسيرفرات الـDNS العامة ستبطئك إذا أغرقتها بالأسئلة. لذلك يحتفظ كل جالب بكاش للـDNS: الاسم مقابل الـIP، ويجدده حين تنتهي صلاحيته. زحف مرّ على عشرة ملايين موقع يجيب عن معظم هذه الأسئلة من الذاكرة.
ونفس المعاملة لملف robots.txt، وهو الملف الذي يكتب فيه الموقع ما يسمح للزواحف بزيارته: نزّله مرة واحدة لكل موقع، واحفظه في الكاش، والتزم بما فيه.
المحلل (parser) يستخرج النص والروابط الموجودة في الصفحة. بعدها يحميك فلتران من العمل الضائع.
الأول بصمة الصفحة: احسب hash لمحتواها وقارنه. روابط كثيرة تعرض الصفحة نفسها (نسخ مكررة من الموقع، أو روابط فيها متغيرات تتبّع مثل ?utm=...). فإذا رأيت هذا الـhash من قبل، لا تخزّن الصفحة ولا تعالجها مرة أخرى.
والثاني قائمة الروابط التي مرت عليك: قبل أن يدخل أي رابط جديد إلى طابور الروابط، تأكد أنه لم يدخل من قبل. ومع مليار رابط، سيحتاج جدول hash عادي ذاكرة ضخمة. أما الـBloom filter فيحفظ هذه القائمة في بضعة غيغابايت من الذاكرة. أحياناً يقول عن رابط «رأيته» وهو لم يره. وثمن هذا الخطأ النادر أنك تتخطى صفحة واحدة، والويب سيعرضها عليك مرة أخرى لاحقاً.
بعض المواقع تولّد روابط لا نهاية لها، عن قصد أو بالخطأ. صفحة تقويم فيها رابط للشهر التالي، ثم الذي بعده، إلى الأبد. وصفحة بحث فيها عدد لا ينتهي من تركيبات الفلاتر. وسيملأ زاحفك طابوره بسعادة بمخلفات موقع واحد، بينما بقية الويب تنتظر.
الدفاعات مملة لكنها فعالة: حد أقصى لعمق الزحف من كل رابط بداية، وعدد أقصى من الصفحات لكل موقع، وحد لطول الرابط. المصائد أمر عادي في الويب المفتوح، فخطط لها من أول يوم.
زحف يستمر شهراً سيقابل عمالاً يموتون، وأقراصاً تمتلئ، ونشر نسخة جديدة يفشل مرة على الأقل. وإذا كان طابور الروابط في الذاكرة فقط، فانهيار واحد يمسح كل رابط اكتشفته ولم تنزّله بعد. هذا عمل أيام.
لذلك احفظ الطابور على القرص أو في مخزن له نسخ متماثلة، وسجّل التقدم باستمرار: أي الصفحات انتهت، وأيها قيد التنزيل. هكذا تكمل من حيث توقفت بعد الانهيار، ولا تبدأ من الصفر. الجالبات مسموح لها أن تموت، أما الطابور فلا.
لو نزعت الحجم الضخم، ستجد أن الزاحف طابور مؤدب. طابور الروابط يقرر ما التالي وبأي لطف نطرق الباب. والجالبات عضلات يمكن استبدال أي واحدة منها بأخرى. وإزالة التكرار فحصان رخيصان يبقيان الطابور نظيفاً. كل ما هو صعب في هذا النظام موجود داخل الطابور: الأولوية، والأدب، والنجاة من الانهيار.
لماذا يحتفظ طابور الروابط بطابور مستقل لكل موقع، بدل طابور أولويات واحد كبير؟
جاوب في ذهنك أولاً، ثم تأكد.
ارسمه كدورة: روابط البداية تدخل، وطابور روابط ينظم السرعة لكل موقع، وجالبات معها كاش للـDNS، ومحلل، وطبقتان لإزالة التكرار، وروابط تعود إلى الطابور. ثم اصرف وقتك على ما يكسر الزواحف فعلاً: الأدب، والمصائد، والانهيارات. هنا تُظهر أنك تفكر في الأعطال، لا في رسم الصناديق فقط.
اكتب زاحفاً مؤدباً في خمسين سطراً بأي لغة تحبها: صفحة بداية واحدة، وجدول لكل موقع ينتظر ثانية واحدة بين الطلبات، وقائمة بالروابط التي مرت عليك، وحد أقصى للعمق قدره ثلاثة. ثم جرّبه على موقع فيه تقويم، وشاهد كيف ينقذك حد العمق. هذا البرنامج الصغير فيه كل أفكار الدرس، ما عدا الحجم الضخم.
- ترسم دورة الزحف كاملة: روابط البداية، ثم طابور الروابط، ثم الجالبات، ثم المحلل، ثم إزالة التكرار، ثم العودة إلى الطابور.
- تشرح لماذا يحتفظ طابور الروابط بطابور مستقل لكل موقع، وكيف يجعل ذلك الزاحف مهذباً.
- تعرف الأشياء الثلاثة التي تكسر الزواحف الحقيقية (قلة الأدب، والمصائد، والانهيارات) والدفاع ضد كل واحد منها.
أساسيات البيانات الموزعة