// أنظمة ثقيلة وتمرين ختامي
البروفة الأخيرة: صمّم من ورقة بيضاء
مسار تصميم الأنظمة · 20 دقيقة
- تطبق الخطوات الأربع (المتطلبات، والتقدير، والرسم، والتعمق) على مسألة لم ترها من قبل.
- تترك الأرقام تختار التصميم، وتعرف من أي درس سابق جاء كل صندوق في الرسم.
- تتذكر القواعد الأساسية للمسار كله في دقيقة واحدة.
السبورة بيضاء من جديد. لكن هذه المرة، لا شيء سترسمه سيكون جديداً عليك. كل صندوق رسمته من قبل، قطعة قطعة، على مدى خمس وحدات.
السؤال جديد: صمّم النظام الخلفي (backend) لتطبيق مشاوير مثل Careem أو Uber. أما الخطوات فليست جديدة. لنطبق المنهجية كاملة من البداية، ونرى كيف تصمد.
- ماذا يفعل النظام: الراكب يطلب مشواراً، والنظام يربطه بسائق قريب، والطرفان يريان الموقع مباشرة ووقت الوصول المتوقع (ETA)، والسعر يظهر قبل الركوب ويُدفع في النهاية.
- ضيّق النطاق بحزم: لا مشاوير مشتركة، ولا حجز مسبق، ولا تفاصيل لتسعير أوقات الذروة، ولا تسويات للمدفوعات. حلقة أساسية واحدة مصممة جيداً أفضل من عشر ميزات مرسومة على عجل.
- مستوى الجودة المطلوب: ربط بسائق خلال ثوانٍ قليلة، ومواقع تتحرك وكأنها مباشرة، ولا مشوار يضيع أبداً، لأن الأمر فيه مال وسلامة ناس.
المشاوير: مليون مشوار يومياً ÷ 86,400 ثانية ≈ 12 حدثاً في الثانية في المتوسط. ووقت الذروة المسائية، عشرة أضعاف، أي نحو 120 في الثانية. قاعدة بيانات واحدة قوية تتحمل هذا بسهولة.
أما المواقع فهي الوحش الحقيقي. 500,000 سائق نشط، وكل واحد يرسل موقعه كل 4 ثوانٍ: 500,000 ÷ 4 = 125,000 عملية كتابة في الثانية، طوال اليوم. والركاب يتابعون هذه المواقع أيضاً، فتصل القراءات إلى مئات الآلاف في الثانية.
والتخزين صغير بالمقارنة: 100 بايت × 125,000 في الثانية × 86,400 ثانية ≈ 1 TB في اليوم، ومعظمه بلا قيمة بعد دقائق. النتيجة: بيانات المواقع لا يجب أن تقترب من قاعدة البيانات الرئيسية أبداً.
لاحظ ما حدث للتو: أنت لم تختر التصميم، الحساب هو الذي اختاره. 12 مشواراً في الثانية تعني قاعدة بيانات علائقية عادية مع نسخ متماثلة. و125,000 عملية كتابة للمواقع في الثانية تعني مخزناً سريعاً في الذاكرة، يفهم الجغرافيا، وكل قيمة فيه تنتهي صلاحيتها بعد ثوانٍ.
هذا درس الحسابات السريعة على الورق يعود إليك في آخر المسار: التقدير جزء من التصميم نفسه، وليس تسخيناً قبله.
- تطبيقا الراكب والسائق يتحدثان مع طبقة API خلف موزّع الأحمال (load balancer)، ومحدِّد للطلبات عند البوابة. (الوحدة 1: من سيرفر واحد إلى ملايين، والوحدة 3: محدِّد المعدل.)
- خدمة المواقع تستقبل مواقع السائقين، وتحفظها في فهرس جغرافي (geo index) داخل الذاكرة، وتجيب عن سؤال «من القريب من هذه النقطة؟». وكل قيمة تنتهي بعد ثوانٍ. (الوحدة 3: مخزن key-value.)
- خدمة الربط تستقبل الطلب، وتسأل الفهرس الجغرافي، وتعرض المشوار على السائقين واحداً بعد الآخر.
- خدمة المشاوير تملك بيانات المشاوير في قاعدة بيانات علائقية (مطلوب، جارٍ، منتهٍ)، وتُقسَّم حسب المدينة إذا كبرت، وأرقام المشاوير تأتي من مولّد على طريقة snowflake. (الوحدة 1: البيانات على نطاق واسع، والوحدة 2: المعرّفات الفريدة.)
- وحين ينتهي المشوار، يمر الدفع والإيصال عبر طابور الرسائل، والمواقع المباشرة تصل إلى التطبيقين عبر WebSocket. (الوحدة 4: نظام الإشعارات وتطبيق المحادثة.)
أصعب سؤال مختبئ داخل خدمة الربط: جد السائقين المتاحين في دائرة 2 كم، وبسرعة. الطريقة الساذجة تحسب المسافة إلى 500,000 سائق مع كل طلب. وهذه طريقة ميتة قبل أن تبدأ.
الـgeohash يحوّل الإحداثيات إلى نص قصير، والنقاط القريبة من بعضها تبدأ بالأحرف نفسها. فيصبح سؤال «من القريب مني؟» بحثاً عن بادئة، مع الخلايا الثماني المجاورة حتى لا يفوتك سائق يقف خلف حدود الخلية مباشرة. نعم، البادئات مرة أخرى، مثل شجرة trie في درس الإكمال التلقائي.
والـquadtree يطبق الفكرة نفسها على الخريطة مباشرة: قسّم الخريطة إلى أربعة مربعات، ثم كل مربع إلى أربعة، وهكذا، واحفظ السائقين في أصغر المربعات، وابحث فقط في الفروع القريبة منك. والطريقتان تحوّلان «افحص الجميع» إلى «افحص الحي الذي أنت فيه».
في المقابلة، لن تبني مكتبة geohash بنفسك. تقول: PostGIS إذا كانت البيانات في قاعدة البيانات العلائقية، أو Redis GEO إذا كانت في الذاكرة، أو S2 إذا كان الفريق يستخدمها أصلاً. ثم تصرف دقائقك على الأسئلة المهمة فعلاً: كم يجب أن يكون «القريب» حديثاً؟ وماذا يحدث إذا لم يرد السائق الذي اخترناه أبداً؟
أن تعرف أن الأداة موجودة، وكم تكلّف، هذا ما يضيفه المهندس الخبير.
امشِ على طرق الفشل قبل أن يسألك عنها المحاور. سائق قبل المشوار ثم تعطل تطبيقه: أعطِ كل عرض مهلة قصيرة، ثم انتقل إلى السائق التالي. إعادة محاولة الدفع حصلت مرتين: ضع مفتاح منع التكرار على عملية الدفع، تماماً كما في درس الإشعارات. حفلة كبيرة انتهت، و30,000 شخص يطلبون مشاوير من كيلومتر مربع واحد: هذه الخلية صارت نقطة ضغط، فقسّم الخلايا المزدحمة إلى خلايا أصغر، وهو الحل نفسه للمفتاح الساخن في درس الكاش.
لا جواب من هذه الأجوبة جديد عليك، وهذا هو المقصود.
سؤال واحد للمسار كله: أمامك 45 دقيقة وسبورة بيضاء. ماذا تفعل؟ وما القواعد التي يجب أن تكون في رأسك قبل أن تبدأ؟
جاوب في ذهنك أولاً، ثم تأكد.
خمس وحدات وطريق واحد. الأسس علمتك لماذا تنحني الأنظمة تحت الضغط. والمنهجية أعطتك أربع خطوات وأداتين أساسيتين: الـhashing المتسق والمعرّفات الفريدة. ووحدة البيانات الموزعة أدخلتك إلى داخل الـquorum وتحديد المعدل والزواحف. وأنظمة بحجم المنتجات أرتك الـfanout والطوابير وهي تعمل. والأحمال الثقيلة، مع هذه البروفة، أثبتت أن الخطوات تنتقل معك إلى مسألة لم ترها من قبل. السبورة لم تكن الموضوع أبداً. الموضوع هو حكمك أنت.
اختر نظاماً حقيقياً في عملك: أداة داخلية، أو خط معالجة بيانات، أو ميزة تطلقونها كل sprint. اكتب له وثيقة تصميم في صفحة واحدة بالخطوات الأربع: المتطلبات في ثلاث نقاط، وتقديرات بأرقام حقيقية من سجلات نظامك، ورسم بالصناديق، وتعمق واحد في الجزء الذي يقلقك فعلاً. ثم شاركها مع زميل واحد وتناقشا فيها. هذا النقاش هو استمرار الدورة.
- تطبق الخطوات الأربع (المتطلبات، والتقدير، والرسم، والتعمق) على مسألة لم ترها من قبل.
- تترك الأرقام تختار التصميم، وتعرف من أي درس سابق جاء كل صندوق في الرسم.
- تتذكر القواعد الأساسية للمسار كله في دقيقة واحدة.
أنظمة ثقيلة وتمرين ختامي