// أنظمة ثقيلة وتمرين ختامي

صمّم منصة فيديو

مسار تصميم الأنظمة · 25 دقيقة

في نهاية هذا الدرس ستستطيع أن
  • تقسم منصة الفيديو إلى مسارين، الرفع والمشاهدة، وتصمم كل واحد منهما.
  • تشرح الرفع المقسّم القابل للاستكمال، وخط تحويل الفيديو، وتغيير الجودة تلقائياً أثناء المشاهدة.
  • تبين لماذا تحدد شبكة CDN الفاتورة، وليس التخزين.

تشاهد مباراة على هاتفك، والإنترنت في البيت ضعيف. تلاحظ أن الصورة صارت أقل وضوحاً لثوانٍ، ثم رجعت واضحة، والمباراة لم تتوقف لحظة. هذا ليس حظاً، بل تصميم مقصود.

خلف أي منصة فيديو نظامان يستحقان الدراسة: مصنع يحوّل الملف الخام الواحد إلى نسخ كثيرة جاهزة للبث، وشبكة توصيل تخدم كميات ضخمة من الفيديو كل يوم دون أن يمر معظمها على سيرفراتك. صمّم الاثنين، وتكون قد صممت واحداً من أصعب أجزاء الإنترنت الحديث.

مساران، قلهما من البداية

قلها في أول دقيقة: منصة الفيديو مساران.

مسار الرفع: صانع محتوى يرسل ملفاً خاماً، فيحفظه النظام ويحوّله (transcoding) إلى كل الجودات التي قد يُشاهد بها. ومسار المشاهدة: مشاهد يضغط زر التشغيل، فتصل إلى جهازه قطع صغيرة من الفيديو بالجودة التي يتحملها اتصاله في هذه اللحظة.

المساران يشتركان في التخزين، ولا يشتركان في شيء آخر تقريباً. كل واحد يكبر وحده، ويتعطل وحده. وأرقام للتقدير: نحو 500 ساعة فيديو تُرفع كل دقيقة (رقم YouTube المعلن)، والمشاهدة أثقل بكثير من الرفع، وكل فيديو جاهز يتحول إلى 6 إلى 10 ملفات.

الرفع: على قطع، ويمكن استكماله

ساعة واحدة من فيديو خام بدقة 4K قد يصل حجمها إلى 50 GB. لن ترسل هذا في طلب واحد.

يقسّم التطبيق الملف إلى قطع، لنقل 8 MB لكل قطعة، فتصبح الـ50 GB نحو 6,250 قطعة. ثم يرفعها إلى object storage، وهو مخزن مثل S3 مصمم للملفات الكبيرة، ويسجّل أرقام القطع التي نجحت. وإذا انقطع الاتصال، تعيد إرسال تلك القطعة وحدها، لا الملف كله: أعد القطعة رقم 4,217، لا الخمسين غيغابايت.

وحين تصل آخر قطعة، يُطلق النظام حدث «اكتمل الرفع»، ويصبح في المخزن نسخة أصلية واحدة لا تتغير. والـobject storage يحفظ نسخاً من البيانات على عدة أجهزة نيابة عنك، فتنجو النسخة الأصلية إذا تعطل قرص، دون أن تكتب أنت سطراً لذلك.

خط تحويل الفيديو

حدث «اكتمل الرفع» يضع مهمة في طابور الرسائل، والعمّال ينفذون سلسلة خطوات على شكل DAG، أي مخطط خطوات بعضها يعمل بالتوازي وبعضها ينتظر غيره. أولاً قسّم الفيديو الأصلي إلى مقاطع. ثم حوّل كل مقطع إلى 1080p و720p و480p و360p بالتوازي. وأخيراً اجمع النتائج واكتب ملفات الـmanifest.

لماذا DAG وليس سكربتاً طويلاً واحداً؟ لأنك تريد التوازي حيث العمل مستقل: كل زوج (مقطع، جودة) مهمة مستقلة على عامل مستقل. وتريد الترتيب حيث يعتمد العمل على غيره: لا يبدأ الجمع حتى تنتهي كل مقاطع تلك الجودة.

ولماذا طابور وليس استدعاءً مباشراً؟ لأن التحويل يأخذ من دقائق إلى ساعات. صانع المحتوى لا يجب أن ينتظر، والعامل الذي يموت في منتصف مقطع يجب أن تُعاد مهمته، والطابور يمتص زحمة الرفع في المساء بدل أن تتحملها سيرفراتك.

رفعرفع مجزّأتخزين كائناتالملف الخامSplit4K1080p720p480pMergeنسخ جاهزةتشغيلالعميلمشغّل متكيّفCDN edgeمقاطع بكل الجوداتOriginالتخزين الأصليchunksعند الـ miss
في الأعلى: العميل، ثم الرفع المقسّم، ثم object storage، ثم الطابور، ثم خط التحويل، ثم ملفات manifest. وفي الأسفل: العميل، ثم أقرب نقطة CDN إذا وُجد المقطع فيها، ولا نذهب إلى السيرفر الأصلي إلا إذا لم يوجد.
المشاهدة: جودة تتغير مع اتصالك

المشغّل لا ينزّل «فيديو» أبداً. هو ينزّل أولاً ملف manifest، وهو ملف نصي صغير يذكر كل جودة متاحة على شكل سلسلة من قطع، طول كل قطعة من 2 إلى 6 ثوانٍ. ثم ينزّل قطعة بعد قطعة، ويقيس سرعة التنزيل مع كل واحدة.

صار الاتصال أبطأ؟ يطلب المشغّل القطعة التالية بجودة 480p. تحسّن الاتصال؟ يرجع إلى 1080p، في منتصف المشهد. هذه هي المباراة التي بدأنا بها الدرس.

كل القرار موجود في المشغّل، أما السيرفرات فتسلّم القطع فقط. وهذه هي فكرة adaptive bitrate streaming كلها: ضع الذكاء حيث يوجد القياس.

حين يمتلئ الـCDN، يكاد السيرفر الأصلي لا يُذكر

شعبية الفيديوهات غير متساوية أبداً: نسبة صغيرة من الفيديوهات تأخذ معظم وقت المشاهدة. هذه النسبة موجودة على الـCDN، أي سيرفرات قريبة من المشاهدين، وقد عرفتها في درس الكاش. والـCDN الممتلئ يسلّم القطعة دون أن يتصل بك أصلاً.

السيرفر الأصلي (origin)، أي مخزنك وسيرفراتك أنت، لا يرى إلا شيئين: طلبات لم يجدها الـCDN عنده، لفيديوهات قديمة أو جديدة جداً، والملفات الجديدة القادمة من خط التحويل. لذلك صمّم السيرفر الأصلي على قدر هذه الطلبات، لا على قدر كل المشاهدات. ولو خدمت كل المشاهدات من مكان واحد، لاحتجت أضعاف سعة الإنترنت الخارجة، وستبقى أبطأ أيضاً، لأن المسافة تضيف تأخيراً.

التخزين رخيص، والفاتورة الحقيقية هي نقل البيانات

التخزين في object storage يكلّف سنتات للغيغابايت في الشهر. أما نقل البيانات فتدفع ثمنه عن كل غيغابايت يصل إلى المشاهدين، ويكبر كلما نجحت: كل ساعة مشاهدة تدفع ثمنها من جديد. لهذا الـCDN ليس تحسيناً اختيارياً للسرعة. إنه نموذج العمل نفسه.

أما البيانات الوصفية (metadata)، مثل العنوان وصاحب الفيديو ومدته وقائمة ملفات الـmanifest، فمكانها قاعدة بيانات علائقية دقيقة دائماً. حجمها صغير جداً بجانب الفيديوهات، وتسألها أسئلة علائقية (فيديوهات هذا الصانع، الأحدث أولاً)، وهي الجزء الوحيد الذي لا تحتمل أن يضيع أو يظهر قديماً.

الفكرة

منصة الفيديو نظامان يتقاسمان فاتورة التخزين: مصنع صبور يحوّل الملفات المرفوعة إلى ملفات جاهزة للبث على مهله، وشبكة توصيل أغلب عملها قراءة تخدم هذه الملفات من مكان قريب من المشاهد. وحين ترى هذا التقسيم، يجد كل قرار مكانه: الطوابير وإعادة المحاولة والـDAG في جهة المصنع، والكاش والمواقع وتكلفة نقل البيانات في جهة التوصيل.

اختبر نفسك

صانع محتوى انقطع رفعه عند 92% على شبكة فندق ضعيفة. ما الذي يُعاد إرساله بالضبط؟ ولماذا لا يتعطل خط التحويل بسبب ذلك؟

جاوب في ذهنك أولاً، ثم تأكد.

الخلاصة

ارسمها في صندوقين: رفع مقسّم يمكن استكماله إلى object storage، وخط تحويل يتغذى من طابور، ومشغّل يغيّر الجودة حسب ملف manifest، وشبكة CDN تجعل السيرفر الأصلي لا يتعامل إلا مع الطلبات التي لم تجدها. التخزين رخيص، ونقل البيانات هو الفاتورة، والبيانات الوصفية الصغيرة الثمينة هي الجزء الوحيد الذي يحتاج قاعدة بيانات حقيقية.

طبّقها هذا الأسبوع

خذ ملفاً كبيراً ينقله نظامك اليوم، مثل ملف CSV تستورده أو تقرير أو نسخة احتياطية، واجعل نقله مقسّماً ويمكن استكماله: قطع بحجم ثابت، وسجل بأرقام القطع التي وصلت، واستكمال من أول قطعة ناقصة. ثم اكتب، بجملة واحدة لكل مهمة، أي المهام التي تعمل عندك الآن مباشرة ستحتاج طابوراً وDAG لو زاد الضغط مئة مرة.

ما أصبحت تستطيعه الآن
  • تقسم منصة الفيديو إلى مسارين، الرفع والمشاهدة، وتصمم كل واحد منهما.
  • تشرح الرفع المقسّم القابل للاستكمال، وخط تحويل الفيديو، وتغيير الجودة تلقائياً أثناء المشاهدة.
  • تبين لماذا تحدد شبكة CDN الفاتورة، وليس التخزين.

أنظمة ثقيلة وتمرين ختامي