// أساسيات التوسع
البيانات على نطاق واسع: النسخ والتقسيم والتوزيع
مسار تصميم الأنظمة · 20 دقيقة
- تعرف هل تحتاج قاعدة البيانات المتعبة إلى النسخ المتماثل، أم إلى التقسيم، أم إلى الاثنين.
- تختار مفتاح التقسيم، وتشرح الفرق بين التقسيم بالنطاقات والتقسيم بالـhash.
- تخفي تأخر النسخ عن المستخدمين بحيل بسيطة تضمن أن يرى كل مستخدم ما كتبه.
تذكر عنق الزجاجة من الدرس الأول؟ قاعدة بياناتك صارت هي عنق الزجاجة من جديد. لكن جملة «قاعدة البيانات تعبانة» قد تعني ثلاثة أشياء مختلفة.
ربما القراءات تغرقها. وربما البيانات لم تعد تتسع على جهاز واحد. وربما هي على بُعد عطل واحد في العتاد من إيقاف الشركة كلها. ثلاثة أمراض مختلفة، ولكل مرض علاجه.
عندك أداتان، ولكل واحدة عمل مختلف.
النسخ المتماثل (replication) يعني نسخاً كاملة من البيانات نفسها على عدة أجهزة. يعطيك قدرة قراءة أكبر، ويجعلك تنجو إذا تعطل جهاز. أما التقسيم (sharding) فيعني توزيع أجزاء مختلفة من البيانات على عدة أجهزة. يعطيك قدرة كتابة أكبر ومساحة أكبر.
فكّر في دائرة حكومية. النسخ المتماثل يشبه طباعة سجل المواطنين نفسه لكل فرع، فيستطيع أي فرع أن يجيب. والتقسيم يشبه توزيع المواطنين حسب أول حرف من اسم العائلة: من الألف إلى الخاء عند الشباك الأول، ومن الدال إلى الصاد عند الشباك الثاني، فلا يحمل شباك واحد الجميع. والأنظمة الكبيرة تستخدم الاثنين عادة: لكل قسم نسخه الخاصة.
في نمط القائد والأتباع (leader-follower)، نسخة قائدة واحدة تستقبل كل الكتابات وترسل التغييرات إلى النسخ التابعة، والتابعة تجيب على القراءات. تحتاج قراءات أكثر؟ أضف نسخة تابعة.
والسؤال المهم: متى تُعتبر الكتابة منتهية؟ في النسخ المتزامن (synchronous) تنتظر حتى تصل الكتابة للأتباع، فلا تضيع أي كتابة، لكن كل كتابة أبطأ. وفي النسخ غير المتزامن (asynchronous) تؤكد الكتابة فوراً وتنسخها بعد لحظة، فهو سريع، لكن لو سقط القائد قد تضيع معه آخر الكتابات.
وحين يموت القائد، تُرقّى نسخة تابعة مكانه (failover). وهذه بالضبط اللحظة التي يظهر فيها أي تأخر في النسخ أمام المستخدمين.
مع النسخ غير المتزامن، تصل الكتابة إلى الأتباع بعد القائد ببضع مللي ثوانٍ، وأحياناً ببضع ثوانٍ. فيعدّل المستخدم ملفه الشخصي، ثم يحدّث الصفحة، فيُرسل إلى نسخة متأخرة، ويرى القيمة القديمة. تعديله اختفى! وهذه مشكلة اسمها read-your-writes، يعني أن يرى المستخدم ما كتبه بنفسه.
وهناك مشكلة قريبة منها وأخفى: تحديثان متتاليان للصفحة يذهبان إلى نسختين متأخرتين بمقدار مختلف، فتبدو البيانات وكأنها ترجع بالزمن.
والحلول رخيصة وبسيطة. أرسل قراءات المستخدم نفسه إلى القائد لفترة قصيرة بعد أي كتابة. أو اجعل التطبيق يتذكر وقت آخر كتابة له، ولا يقرأ إلا من نسخة لحقت بها. أو اربط كل مستخدم بنسخة تابعة واحدة، فلا ترجع قراءاته إلى الوراء. لا شيء من هذا يلغي التأخر، لكنه يخفيه عمن سيلاحظه.
حين لا تتسع قاعدة واحدة للبيانات أو لا تلحق بالكتابات، قسّمها. المستخدمون بأرقام من 1 إلى مليون على السيرفر A، ومن مليون إلى مليونين على السيرفر B، وهكذا. والحقل الذي تقسّم به اسمه مفتاح التقسيم (shard key)، واختياره هو أهم قرار. المفتاح السيئ يكدّس الحمل على سيرفر واحد بدل أن يوزعه.
والفشل المشهور هنا مشكلة المشاهير: بيانات مستخدم واحد عليها ضغط كبير، فيسخن القسم الذي يحملها بينما الباقي شبه فارغ. وتغيير المفتاح لاحقاً يعني نقل صفوف بين سيرفرات شغالة، وهذه من أصعب المهام في الهندسة. اختر المفتاح وكأنك ستعيش معه سنوات، لأنك فعلاً ستعيش معه.
التقسيم بالنطاقات يعطي كل قسم شريحة متصلة من المفاتيح: الأسماء من A إلى F هنا، ومن G إلى M هناك. المكسب هو القراءة المرتبة: طلب «كل المستخدمين من A إلى C» يبقى داخل قسم واحد ويبقى سريعاً. والثمن هو النقاط الساخنة: لو قسّمت برقم يزيد باستمرار أو بالتاريخ، فكل كتابة جديدة ستنزل على القسم الأخير، والباقي لا يعمل شيئاً.
أما التقسيم بالـhash فيمرر المفتاح على دالة hash، وهي دالة تحوّله إلى رقم يبدو عشوائياً، ثم يختار القسم حسب هذا الرقم. فتتوزع الكتابات بالتساوي تقريباً. والثمن أن الترتيب يضيع، وطلب «كل المستخدمين من A إلى M» يجب أن يسأل كل الأقسام ثم يجمع الإجابات.
اختر النطاقات حين تهمك القراءة المرتبة وتقدر على إعادة التوازن. واختر الـhash حين يهمك التوزيع المتساوي أكثر من الترتيب.
وهنا المشكلة في التقسيم بالـhash. القاعدة البديهية hash(key) mod N، حيث N عدد السيرفرات، تنهار لحظة تغيّر N: أضف سيرفراً واحداً، فيتغير مكان كل المفاتيح تقريباً.
والحيلة المعروفة اسمها consistent hashing. ضع السيرفرات والمفاتيح على دائرة واحدة باستخدام دالة الـhash نفسها، وكل مفتاح يتبع أول سيرفر تقابله وأنت تمشي مع عقارب الساعة. أضف سيرفراً أو احذفه، فلا ينتقل إلا نحو 1/N من المفاتيح، والباقي يبقى مكانه. وهذه الفكرة تشغّل بصمت أنظمة الكاش وقواعد البيانات المقسّمة وموزّعات الأحمال في كل مكان.
جرّبها: أضف سيرفرات واحذفها في الوضعين، الدائرة وطريقة mod N العادية، وقارن نسبة المفاتيح التي تنتقل.
إعادة التقسيم الساذجة، يعني تغيير N في hash(key) mod N، تنقل كل الصفوف تقريباً وتوقف النظام معها. والحل المعروف أن تنشئ من البداية عدداً كبيراً من الأقسام المنطقية، لنقل 1,024، وتضعها على عدد أقل بكثير من الأجهزة الحقيقية، لنقل 8 أجهزة (128 قسماً لكل جهاز). وحين تكبر إلى 16 جهازاً، ينقل كل جهاز قديم 64 قسماً منطقياً إلى جهاز جديد. هذا تعديل في جدول التوجيه، لا عملية جراحية في بياناتك.
وأثناء النقل تكتب في المكانين: كل كتابة جديدة تذهب إلى المكان القديم والجديد معاً، بينما تنسخ عملية في الخلفية الصفوف الموجودة. ولا تنتقل القراءات إلا بعد التأكد من النسخة.
والقاعدة التي توفر عليك سنوات: ابدأ بأقسام منطقية أكثر بكثير من عدد أجهزتك، فيصبح النمو دائماً «أعطِ الجهاز الجديد بعض الأقسام»، وليس «أعد تصميم التقسيم والنظام تحت الضغط».
ابدأ بـSQL. المعاملات (transactions)، يعني مجموعة تغييرات تنجح كلها أو تفشل كلها، والربط بين الجداول والقيود وأربعون سنة من الاعتمادية، كلها تكفي أغلب التطبيقات بارتياح.
ولا تذهب إلى NoSQL إلا حين يفرضها الحجم أو طريقة استخدام البيانات فعلاً: كتابات ضخمة جداً، أو شكل بيانات يتغير باستمرار، أو بحث بسيط بالمفتاح على حجم هائل، أو بيانات هي بطبيعتها مستندات أو شبكة علاقات. SQL هو الأصل، وNoSQL استثناء تبرره بالأرقام لا بالموضة.
تطبيقك 95% من عمله قراءة، وقاعدة بياناته الوحيدة تحتضر. النسخ المتماثل أم التقسيم؟ وأيهما ينفع حين لا تعود البيانات تتسع على قرص واحد؟
جاوب في ذهنك أولاً، ثم تأكد.
انسخ البيانات لتنجو ولتقرأ أكثر، وقسّمها لتكتب أكثر ولتتسع لأكثر. اجعل SQL هو الأصل، وبرّر NoSQL بالأرقام، واستخدم consistent hashing كلما احتجت توزيع المفاتيح على سيرفرات تأتي وتذهب.
خذ أكبر جدول في نظام تعرفه، واكتب: بأي مفتاح ستقسّمه، وأي الصفوف ستكون «المشهورة» التي عليها الضغط، وأي استعلاماتك ستنكسر لحظة أن تصبح البيانات على جهازين. إن أخافتك الإجابات، فقد فهمت لماذا التقسيم هو آخر الحلول.
- تعرف هل تحتاج قاعدة البيانات المتعبة إلى النسخ المتماثل، أم إلى التقسيم، أم إلى الاثنين.
- تختار مفتاح التقسيم، وتشرح الفرق بين التقسيم بالنطاقات والتقسيم بالـhash.
- تخفي تأخر النسخ عن المستخدمين بحيل بسيطة تضمن أن يرى كل مستخدم ما كتبه.
أساسيات التوسع