كيف تُدرَّب النماذج الأساسية

الآن تعرف أين يقع الضبط الدقيق على سلّم التخصيص: فوق هندسة المطالبات وRAG، يغيّر أوزان النموذج، وتلجأ إليه حين يجب أن يثبت السلوك. لكن لتفهم ما يغيّره الضبط الدقيق فعلاً، عليك أولاً أن تعرف ما وضعه التدريب المسبق في النموذج أصلاً. نموذج أساسي مثل Amazon Titan أو Anthropic Claude يصل وهو يعرف قدراً هائلاً قبل أن ترسل إليه طلباً واحداً. من أين جاءت تلك المعرفة، ولماذا يكلّف صنع نموذج واحد المزوّدَ هذا القدر؟

الجواب خط من ثلاث مراحل. معرفة ما تفعله كل مرحلة تخبرك أي أجزاء النموذج تستطيع التأثير فيها فعلاً، وأيها ترثه جاهزاً، وأين بالضبط يتصل تخصيصك أنت. هذا هدف اختبار مسمى، وهو أيضاً الفرق بين اختيار طريقة التخصيص الصحيحة وإهدار ميزانية تدريب على الطريقة الخطأ.

التدريب المسبق: تعلّم اللغة من نص خام

التدريب المسبق هو المرحلة التي تمنح النموذج الأساسي معرفته الخام، وهو يعمل بمهمة واحدة مكررة: تنبّأ بالـ token التالي. أعطِ النموذج التسلسل "The capital of France is" فيتعلم توقّع "Paris". أعطِه "def add(a, b): return" فيتعلم توقّع "a + b". ينزلق النموذج عبر النص token بعد token، يخمّن كل token تالٍ ويعدّل مليارات معاملاته كلما أخطأ.

وهنا الجزء الذي يجعله يتوسّع. لا أحد يعنون هذه البيانات. الإجابة الصحيحة لكل موضع هي ببساطة الـ token الذي يأتي فعلاً في النص، فيشرف النص على نفسه. هذا ما يعنيه "ذاتي الإشراف"، وهو سبب قدرة التدريب المسبق على التهام تريليونات الـ tokens من كتب ومواقع وشيفرة ومقالات دون جيش من المعنوِنين. النموذج لا يحفظ جدول بحث، بل يضغط أنماط اللغة والحقائق والاستدلال الإحصائية في أوزانه.

هذا انفصال حاد عن التعلم المُشرَف الذي قابلته سابقاً في المساق، حيث كان كل مثال تدريب يأتي بعنوان بشري. في التدريب المسبق لا عناوين منفصلة أصلاً. الكلمة التالية هي العنوان. ذلك القرار التصميمي الواحد هو ما سمح للنماذج الأساسية بأن تبلغ حجمها الحالي.

تفصيلة آلية واحدة تفسّر جدوى هذا أصلاً: معمارية transformer تعالج التسلسل كله بالتوازي بدل كلمة بعد كلمة، ما يتيح للمزوّدين التدريب على أساطيل كبيرة من الـ GPU. ومع ذلك يستغرق تشغيل تدريب مسبق كامل أسابيع ويكلّف ثروة في الحوسبة، وهذا سبب امتناع الجميع تقريباً عن فعله بأنفسهم.

لماذا لا يكفي التدريب المسبق وحده

النموذج الطازج من التدريب المسبق يُسمى نموذجاً أساسياً، وله شخصية غريبة: يتنبأ بنص محتمل، لكنه لا يعرف أنه يُفترض أن يكون مفيداً. اسأل نموذجاً أساسياً خاماً "What is the capital of France?" فقد يتابع بمزيد من أسئلة المعلومات، لأن السؤال في بيانات تدريبه كثيراً ما يتبعه سؤال آخر. لديه المعرفة لكن ليست لديه الآداب.

مرحلتان إضافيتان تصلحان هذا. تستخدمان بيانات أقل بكثير من التدريب المسبق، وتشكّلان السلوك بدل ضخّ المعرفة.

الضبط الدقيق وضبط التعليمات: تعليمه اتباع التعليمات

المرحلة التالية تدرّب النموذج الأساسي على مجموعة أصغر بكثير من الأمثلة المعنونة، كل منها يقرن تعليمة باستجابة جيدة. بعرض آلاف الأمثلة مثل "Summarize this paragraph" متبوعة بملخص نظيف، يتعلم النموذج العادة العامة في فعل ما يُطلب منه. ولأن الأمثلة تعليمات وإجاباتها، يُسمى هذا غالباً ضبط التعليمات، وهو شكل من الضبط الدقيق المُشرَف.

هذه الآلية نفسها التي ستستخدمها لتخصيص النموذج لاحقاً في هذا الموضوع. المزوّد يطبّقها أولاً، بعرض واسع، ليصنع مساعداً عاماً؛ وأنت تستطيع تطبيقها ثانية، بشكل ضيّق، لتخصّص ذلك المساعد لمهمتك. الأداة واحدة، تختلف البيانات والهدف فقط.

المواءمة بالتغذية الراجعة البشرية (RLHF)

هناك شيء واحد تعالجه الأمثلة المعنونة بشكل رديء: الجودة الذاتية. ما يُعدّ إجابة مفيدة وصادقة وحذرة بالقدر المناسب يصعب كتابته كإجابة صحيحة واحدة. تعرفه حين تراه، لكن يصعب عليك عنونته.

التعلم المعزز من التغذية الراجعة البشرية (RLHF) يحل هذا بالتعلم من المقارنات بدل الإجابات الثابتة. ينتج النموذج عدة استجابات للمطالبة نفسها، ويرتّب بشر أيها يفضّلون، وتدرّب تلك الترتيبات نموذج مكافأة منفصلاً يتنبأ بكيف سيقيّم إنسان أي استجابة. ثم يُضبط النموذج الرئيسي ليسجّل درجة عالية أمام نموذج المكافأة ذاك. والنتيجة هي السلوك المصقول المتّسق الذي تتوقعه من مساعد إنتاجي. لاحظ ما يفعله RLHF وما لا يفعله: يشكّل النبرة والفائدة، ولا يعلّم حقائق جديدة.

المراحل الثلاث معاً

اقرأ الجدول من أعلى إلى أسفل وراقب تغيّر البيانات. تبدأ ضخمة وغير معنونة، تتقلص إلى أزواج معنونة، ثم تتقلص ثانية إلى أحكام بشرية. ينتقل الجهد من الحجم الخام نحو الانتقاء الدقيق.

ماذا يعني هذا لك

نادراً ما تشغّل المرحلة 1. التدريب المسبق لنموذج أساسي يتطلب بيانات وحوسبة بحجم يكلّف المزوّدين مبالغ هائلة، ودفع ثمن ذلك من الصفر يهدر كامل ميزة النماذج الأساسية، وهي أن أحداً فعلها بالفعل. هذا نفس سبب مقابلة المساق سابقاً بين تعلم الآلة التقليدي، حيث تدرّب نموذجك أنت، والنماذج الأساسية، حيث تبدأ من نموذج مدرَّب مسبقاً.

حيث تدخل أنت هو التخصيص، وهو يرتسم بوضوح على المراحل التي رأيتها. التدريب المسبق المتواصل يمدّد المرحلة 1 بنص مجالك أنت. الضبط الدقيق يكرّر المرحلة 2 بأمثلتك المعنونة أنت. الدرس التالي يفكّك هذه الطرق ويبيّن متى تناسب كل واحدة.

نصائح للاختبار

• التدريب المسبق ذاتي الإشراف، يستخدم نصاً غير معنون، يعمل بتنبؤ الـ token التالي، يجري بحجم ضخم، ويؤديه المزوّد. تسافر هذه المفاتيح معاً في السؤال.
• "بيانات غير معنونة" مع "يتعلم لغة وأنماطاً عامة" تشير إلى التدريب المسبق. "أمثلة معنونة" مع "مهمة أو سلوك محدد" تشير إلى الضبط الدقيق.
• RLHF يوائم النموذج مع التفضيلات البشرية عبر نموذج مكافأة. إن قال سؤال إن تقنية تضيف معرفة واقعية جديدة، فـ RLHF جواب خاطئ.
• النماذج الأساسية موجودة كي لا تدرّب مسبقاً من الصفر. الخيار الذي يقترح تدريب نموذج كبير من الصفر لحالة عمل عادية يكون المشتت غالباً.
• النموذج الأساسي الذي تستدعيه في Bedrock هو أصلاً ناتج المراحل الثلاث، خصّصته أو لم تخصّصه.

النموذج الأساسي في وحدة تحكم Bedrock لديك هو المنتج النهائي لثلاث مراحل لم تدفع ثمنها: تدريب مسبق ضخم غير معنون، وضبط تعليمات معنون، ومواءمة قائمة على التفضيل. أبقِ هذه الخريطة في ذهنك، لأن تخصيصك أنت ليس شيئاً جديداً غامضاً. هو واحدة من مرحلتي الضبط ذاتيهما، مُشغَّلة ثانية على بياناتك، وهو بالضبط ما يفصّله الدرس التالي.