// أنظمة ثقيلة وتمرين ختامي

صمّم خدمة لمزامنة الملفات

مسار تصميم الأنظمة · 25 دقيقة

في نهاية هذا الدرس ستستطيع أن
  • تشرح لماذا تنقل خدمات المزامنة قطعاً من الملف لا الملف كله، وتحسب ما الذي يُرفع فعلاً بعد التعديل.
  • تقسم التصميم إلى مخزن للبيانات الوصفية ومخزن للقطع، وتبرر اختيار كل واحد منهما.
  • تتعامل مع جهازين يعدّلان في الوقت نفسه، ومع التعديلات التي تحدث دون اتصال.

تحفظ فيديو حجمه 1 GB على حاسوبك، وبعد ثلاثين ثانية تجده على هاتفك. أنت عدّلت ثواني قليلة فقط، يعني نحو 10 MB من التغييرات. في مكان ما، قرر نظام أن ينقل نحو 12 MB بدل 1 GB كاملاً. هذا القرار هو التصميم كله، والباقي ترتيب وحسابات.

القرار الوحيد المهم

لا تزامن الملفات. زامن القطع (blocks). قسّم كل ملف إلى قطع بحجم ثابت (4 MB مثلاً)، واحسب hash لكل قطعة، وهو بصمة قصيرة لمحتواها.

الآن القطعة التي لم تتغير لن تُرفع مرة أخرى أبداً، لأن السيرفر عنده هذا الـhash أصلاً. والقطعة التي تتكرر في مئة ملف تُخزَّن مرة واحدة، لأن الـhash هو عنوانها. اسم هذه الفكرة التخزين حسب المحتوى (content-addressed storage): تجد البيانات بما فيها، لا بمكانها.

تذكّر فيديو يدور على مجموعات واتساب كلها: لو حفظت الخدمة نسخة لكل مجموعة لامتلأت السيرفرات. مع البصمة، يُحفظ مرة واحدة ويشير إليه الجميع. هذا الاختيار الواحد، التقطيع والبصمة، يحدد فاتورة نقل البيانات وفاتورة التخزين وسرعة المزامنة في النظام كله.

حساب التعديل بالأرقام

ملف حجمه 1 GB مقسّم إلى قطع من 4 MB يعني 1,000 ÷ 4 = 250 قطعة. أي 250 بصمة، وهذه بضعة كيلوبايتات فقط من البيانات الوصفية.

والآن عدّل 10 MB في منتصف الملف، بالكتابة فوق القديم. مساحة 10 MB تلمس 3 قطع إذا جاءت في مكان مناسب، و4 قطع إذا بدأت قرب نهاية قطعة. فيرفع التطبيق من 12 إلى 16 MB ومعها قائمة البصمات الجديدة، لا 1 GB. أما الـ246 أو 247 قطعة الباقية فلا تتحرك أبداً.

وفي جهة التخزين: إذا احتفظ 10,000 مستخدم بملف التثبيت نفسه، تحفظه الخدمة مرة واحدة، لا 10,000 مرة. التكرار يصبح مجرد عدّاد، لا نسخة جديدة.

مخزنان، ولكل منهما شخصية مختلفة
  1. خدمة البيانات الوصفية (metadata): اسم الملف، وقائمة بصمات قطعه بالترتيب، والإصدارات، والصلاحيات، والمشاركة. حجمها صغير، ومطلوبة طوال الوقت، ويجب أن تكون صحيحة دائماً. ضعها في قاعدة بيانات علائقية دقيقة في كل لحظة.
  2. مخزن القطع: البيانات الفعلية، وكل قطعة تجدها ببصمتها. حجمه ضخم، ونادراً ما يُقرأ، ولا يتغير أبداً. ضعه في object storage رخيص، حيث يكلّف التيرابايت جزءاً صغيراً مما يكلفه في قاعدة بيانات.
  3. لماذا نفصل بينهما؟ البيانات الوصفية كيلوبايتات قليلة لكل ملف، لكنها تحتاج معاملات (transactions)، لأن قائمة قطع خاطئة تعني ملفاً تالفاً. أما القطع فغيغابايتات لا تحتاج إلا ألا تضيع، لأن البصمة نفسها تثبت أن المحتوى سليم. ووضع كل واحد في أرخص مكان يناسبه هو نموذج التكلفة كله.
المزامنة في الاتجاهين
  1. الرفع (push): برنامج صغير على الجهاز يلاحظ أي تغيير، فيعيد تقطيع الملف الذي تغير، ويقارن البصمات بالقائمة السابقة، ويرفع فقط القطع التي ليست عند السيرفر.
  2. السحب (pull): الجهاز يسأل خدمة البيانات الوصفية عمّا تغير منذ آخر مزامنة، وينزّل القطع الناقصة، ويعيد تركيب الملفات عنده.
  3. التنبيه: أجهزة المستخدم الأخرى تعرف بالتغيير عبر long polling أو إشعارات push، كما رأيت في درس المحادثة. والتنبيه لا يحمل أي بيانات، فقط «شيء ما تغير، تعال واسحب». رخيص ويتوسع بسهولة، لأن العمل الثقيل يبقى في خطوة السحب.
الإضافة في وسط الملف تزيح القطع

القطع الثابتة بحجم 4 MB تعمل جيداً حين تكتب فوق بيانات موجودة. لكن أضف بايتاً واحداً في أول الملف، وستتحرك حدود كل القطع بعده بمقدار بايت. فتتغير كل البصمات، ويُرفع الملف كله من جديد.

الحل هو التقطيع حسب المحتوى (content-defined chunking): نختار حدود القطع من أنماط موجودة في المحتوى نفسه، لا من مواقع ثابتة. وهكذا لا تغيّر الإضافة إلا القطعة التي حولها. وأدوات مثل rsync تستخدم أفكاراً قريبة من هذا. وفي المقابلة، ذكر هذا الحد وحده يُظهر أنك فهمت التصميم، لا طريقه السهل فقط.

حين يعدّل جهازان في الوقت نفسه

استخدم قاعدة «آخر كتابة تفوز» (last-write-wins) على مستوى الملف: التعديل الأحدث يصبح النسخة الحالية. تبدو قاسية، لكن لا شيء يضيع بصمت، لأن سجل الإصدارات يحتفظ بالتعديل الآخر، ويستطيع المستخدم إرجاعه. وخدمات كثيرة تحفظه أيضاً كـ«نسخة متعارضة» بجانب الملف.

دمج تعديلين قطعة بقطعة مشروع بحثي. أما «آخر كتابة تفوز» على مستوى الملف مع سجل إصدارات فمنتج تستطيع إطلاقه. وتذكر درس مخزن key-value: قاعدة LWW آمنة فقط حين يكون ضياع كتابة مقبولاً، وسجل الإصدارات هو الذي يجعله مقبولاً هنا.

الانقطاع هو الأصل، لا الاستثناء

الحاسوب يُغلق في منتصف التعديل، والهاتف يفقد الشبكة في المصعد. التعديلات التي تحدث دون اتصال تنتظر في طابور على الجهاز نفسه، والتطبيق يستمر في التقطيع وحساب البصمات كالعادة. وحين يرجع الاتصال، يمر على الطابور: يرفع القطع الناقصة، ويسجّل البيانات الوصفية الجديدة، ويحل أي تعارض مع إصدارات وصلت أثناء غيابه.

والمستخدم لا يجب أن يلاحظ أي فرق بين «تم الحفظ» و«تمت المزامنة»، إلا إذا بحث عنه.

العميل 1تقسيم + بصمةb1 #a7fb2 #a8fb3′ ✳b4 #a10fكل كتلة لها بصمة hash — التغيير يظهر فورًاخدمة الميتاداتاملف → كتل + إصداراتقاعدة بيانات strong consistencyالبصماتتخزين الكتلرخيص، dedup بالبصمةالكتل الجديدة فقطالعميل 2جهاز آخرقارن البصماتاسحب b3′ فقطمزامنة = كتل متغيرة، لا ملف كامل
الأجهزة تقطّع الملفات وتحسب بصماتها محلياً، وترفع القطع الناقصة إلى object storage، وتسجّل البيانات الوصفية في قاعدة البيانات العلائقية. والتنبيهات تخبر الأجهزة الأخرى أن تسحب.
الفكرة

مزامنة الملفات مشكلة بيانات وصفية تجلس فوق مشكلة تخزين. وجزء التخزين سهل ما دمت تجد القطع ببصماتها: إزالة التكرار، والتأكد من سلامة البيانات، ورفع التغييرات فقط، كلها تأتي مجاناً مع البصمة. وكل ما يختلف عليه الناس، الإصدارات والتعارضات والمشاركة والعمل دون اتصال، يعيش في بضعة كيلوبايتات من البيانات الوصفية لكل ملف.

اختبر نفسك

فيديو حجمه 1 GB عُدّل منه 10 MB بالكتابة فوق القديم. ما الذي يمر عبر الشبكة فعلاً، ولماذا؟

جاوب في ذهنك أولاً، ثم تأكد.

الخلاصة

الجواب في نفَس واحد: قطّع الملفات، واحسب بصمة كل قطعة، واحفظ كل قطعة مرة واحدة. البيانات الوصفية في قاعدة بيانات علائقية دقيقة، والبيانات الفعلية في object storage رخيص. الأجهزة ترفع القطع التي تغيرت، وتسحب حين يصلها تنبيه. «آخر كتابة تفوز» مع سجل إصدارات، والتعديلات دون اتصال تنتظر في طابور ثم تُرسل. وكل قطعة في هذا التصميم تأتي من القرار الأول.

طبّقها هذا الأسبوع

خذ ملفاً كبيراً عدّلته مؤخراً، وقارن تكلفة مزامنته بالطريقتين: رفع الملف كاملاً، أو قطع بحجم 4 MB. اكتب سكربتاً صغيراً يقطّع الملف، ويحسب بصمة كل قطعة بـSHA-256، ويعدّ كم بصمة اختلفت بين نسختين من الملف. ثم قارن حجم البيانات التي ستنقلها كل طريقة. بعدها لن تصمم مزامنة ملفات بالطريقة الساذجة أبداً.

ما أصبحت تستطيعه الآن
  • تشرح لماذا تنقل خدمات المزامنة قطعاً من الملف لا الملف كله، وتحسب ما الذي يُرفع فعلاً بعد التعديل.
  • تقسم التصميم إلى مخزن للبيانات الوصفية ومخزن للقطع، وتبرر اختيار كل واحد منهما.
  • تتعامل مع جهازين يعدّلان في الوقت نفسه، ومع التعديلات التي تحدث دون اتصال.

أنظمة ثقيلة وتمرين ختامي