النماذج الأساسية ونماذج اللغة الكبيرة

أعطاك المجال الأول نسخة من سطر واحد عن نموذج اللغة الكبير: يتنبأ بالـ token التالي، ثم يكرّر. الجملة صحيحة وغير كافية. هي لا تشرح كيف يستنتج نموذج يقرأ "لم تدخل الكأس في الحقيبة لأنها كانت كبيرة جداً" أن الضمير يعود على الكأس لا على الحقيبة. لا شيء في جوار الضمير مباشرة يقول ذلك. الجواب يقع على بُعد كلمات إلى الوراء، وعلى النموذج أن يمدّ يده إليه.

كيف يمدّ النموذج يده عبر الجملة هو الآلية التي جعلت الذكاء الاصطناعي التوليدي الحديث ممكناً أصلاً. يفتح هذا الدرس البنية من الداخل، ثم يستخدمها للفصل بين مصطلحين يحب الاختبار الخلط بينهما: النموذج الأساسي ونموذج اللغة الكبير.

ما النموذج الأساسي فعلاً

يعرّف مسرد Amazon Bedrock النموذج الأساسي بأنه "نموذج ذكاء اصطناعي يملك عدداً كبيراً من المعاملات ومدرَّب على كمية هائلة من البيانات المتنوعة. يستطيع النموذج الأساسي توليد تشكيلة من الاستجابات لمجال واسع من حالات الاستخدام. تستطيع النماذج الأساسية توليد نص أو صورة، وتستطيع أيضاً تحويل المدخل إلى embeddings".

اقرأ التعريف على أنه ثلاث دعاوى فوق بعضها. الحجم: مليارات المعاملات لا آلاف. الاتساع: بيانات متنوعة لا مجموعة واحدة منسّقة لمهمة واحدة. قابلية التكييف: حالات استخدام كثيرة من نموذج واحد.

الدعوى الثالثة هي التي غيّرت طريقة بناء الفرق. نموذج تعلم الآلة التقليدي أداة أحادية الغرض. تدرّب مصنّف احتيال على معاملات مصنّفة فيكشف الاحتيال، ولن يلخّص عقداً مهما طالبته. النموذج الأساسي يقلب هذا. نموذج واحد يلخّص ويترجم ويكتب كوداً ويجيب عن الأسئلة، موجَّهاً بما تكتبه أنت لا بإعادة تدريب.

الاقتصاد يتبع البنية. التدريب المسبق لنموذج أساسي يكلّف ملايين الدولارات وأشهراً من الحوسبة، وهو رقم لا يستطيع فريق عادي تحمّله. لكن مزوّد النموذج يدفع هذه التكلفة مرة واحدة، ثم توزَّع على كل عميل وكل مهمة. لهذا حلّ "اختر نموذجاً وطالبه" محل "درّب نموذجاً لكل مشكلة" كنقطة انطلاق افتراضية، ولهذا يخصص دليل الاختبار مجالاً كاملاً لنماذج لم تبنِها أنت.

المشكلة التي حلّتها transformers

قبل عام 2017، كانت نماذج التسلسل تقرأ النص كما تقرأ ورقة تخرج من جهاز فاكس: كلمة واحدة في كل مرة، من اليسار إلى اليمين، حاملةً ملخصاً متراكماً معها. هذه هي الشبكة العصبية التكرارية RNN. تضع AWS المقابلة بوضوح: "تعالج RNN تسلسلات البيانات عنصراً واحداً في كل مرة"، بينما transformers "تعالج التسلسلات كاملة في آن واحد"، مما يعطي "أزمنة تدريب أسرع بكثير والقدرة على التعامل مع تسلسلات أطول بكثير من RNN".

أمران يفسدان القراءة كلمة بكلمة. الأول أنها بطيئة، لأن الخطوة 500 لا تبدأ قبل انتهاء الخطوة 499، فلا يمكن توزيع العمل على آلاف الـ GPUs. الثاني وهو الأسوأ: الملخص المتراكم يتآكل. حين تصل RNN إلى "كانت كبيرة جداً"، تكون الكأس قد عُصرت عبر تسع جولات من الضغط ولم يبقَ منها إلا أثر باهت.

يتخلص transformer من الملخص المتراكم كلياً. يُحمّل التسلسل كاملاً دفعة واحدة ويدع كل token ينظر مباشرة إلى كل token آخر. لا شيء مضطر للنجاة من سباق تتابع.

آلية self-attention: تقرير ما يهم

self-attention هي الآلية التي تنفّذ هذا النظر. تصفها AWS بأنها الآلية التي "تمكّن النموذج من النظر إلى أجزاء مختلفة من التسلسل كلها دفعة واحدة وتحديد أي الأجزاء أهم".

تخيّل اجتماع فريق يسمع فيه الجميع بعضهم. حين يتحول الحديث إلى موعد الإطلاق، تُصغي بتركيز شديد لمهندس الإصدار، وتُصغي بنصف انتباه للمصمم، وتُغلق أذنك عن بقية الغرفة. أنت لا تضغط الاجتماع في ملخص ثم تتفاعل مع الملخص، بل تتفاعل مع الأشخاص مرجّحين بحسب صلتهم بالموضوع الحالي. تعمل self-attention بهذه الطريقة: لكل token يعطي النموذج درجة صلة لكل token آخر، ثم يبني معنى ذلك الـ token كمزيج مرجّح ممن يهمّون. تنكسر المشابهة في موضع واحد يستحق التسمية: أنت تُصغي بناءً على فهمك للموضوع، أما درجات الصلة عند النموذج فأوزان إحصائية متعلَّمة لا فهم خلفها.

طبّقها على جملة الكأس. حين يعالج النموذج الضمير، تعطي self-attention درجة لكل token سابق. "الكأس" و"الحقيبة" كلاهما يحصل على درجة عالية لأن كليهما اسم مرشّح. ثم تجذب عبارة "كبيرة جداً" الكفّة نحو "الكأس"، لأن بيانات التدريب تحوي عدداً لا يُحصى من الجمل التي يكون فيها الشيء الذي لا يدخل هو الشيء الأكبر. غيّر كلمة واحدة إلى "لأنها كانت صغيرة جداً" فتنقلب الآلية نفسها لصالح "الحقيبة". بنية واحدة، بلا قواعد كتبها إنسان، والحسم يخرج من أوزان متعلَّمة.

positional encoding: إعادة الترتيب إلى مكانه

قراءة كل شيء دفعة واحدة تخلق مشكلة جديدة. إن رأى النموذج كل الـ tokens في آن واحد، فإن "عضّ الكلبُ الرجلَ" و"عضّ الرجلُ الكلبَ" تصلان إليه كحقيبة كلمات واحدة. الترتيب يحمل معنى، والقراءة المتوازية ترميه.

العلاج هو positional encoding. تصفه AWS بأنه "يضيف معلومة إلى embedding كل token للدلالة على موضعه في التسلسل"، لأن "النموذج نفسه لا يعالج البيانات التسلسلية بترتيبها بشكل فطري". يحصل التمثيل الرقمي لكل token على إشارة موضع ممزوجة فيه، فيصير الـ token الرابع والـ token الأربعون قابلين للتمييز رغم معالجتهما في اللحظة نفسها.

هذا مثال جيد على مقايضة معمارية يُدفع ثمنها في مكان آخر. التوازي اشترى السرعة والمدى الطويل، وpositional encoding هو الفاتورة.

encoder و decoder

تصف AWS البنية الكاملة بنصفين. الـ encoder "يقرأ ويعالج تسلسل بيانات المدخل كاملاً" ويحوّله إلى "تمثيل رياضي مضغوط". والـ decoder "يأخذ هذا الملخص ويولّد تسلسل المخرج خطوة بخطوة".

ليس كل نموذج يستخدم النصفين. النماذج المبنية لتوليد النص، ومنها عائلة GPT، هي decoder فقط: تأخذ الـ tokens حتى الآن وتُنتج التالي. أما النماذج المبنية لإنتاج embeddings فتتكئ على الـ encoder، لأن عملها ينتهي عند التمثيل الرقمي المضغوط ولا يصير نصاً أبداً. هذا الانقسام يهم في الدرس التالي، الذي تنال فيه نماذج الـ embedding قسماً خاصاً بها.

المعاملات: ما الذي تعلّمه النموذج

أثناء التدريب، يعدّل transformer ملايين أو مليارات الأرقام حتى تتوقف تنبؤاته عن التحسن. تسمّيها AWS مباشرة: "الأوزان والانحيازات مع الـ embeddings تُعرف بمعاملات النموذج. الشبكات العصبية الكبيرة المبنية على transformer قد تملك مليارات ومليارات المعاملات". وتذكر AWS نموذج GPT-3 عند 175 مليار معامل وJurassic-1 عند 178 ملياراً كأمثلة على الحجم.

وهنا الاعتقاد الخاطئ الذي يجب قتله الآن، لأنه يقود إلى إجابات خاطئة عبر هذا المساق كله. المعاملات ليست نسخة مضغوطة من بيانات التدريب، ولا يملك النموذج فهرساً يبحث فيه. تلك الـ 175 مليار رقم تُرمّز انتظامات إحصائية: أي الـ tokens تتبع أيها، وأي الكلمات تتصرف تصرفاً متشابهاً، وأي أشكال الجمل سليمة نحوياً. حين يخبرك LLM بحقيقة، فهو لا يسترجع مستنداً مخزّناً، بل يولّد الاستكمال الذي تجعله تلك الأوزان الأرجح. هذه هي آلية الهلوسة كاملة، ولهذا يواصل الاختبار قرن النماذج الأساسية بالاسترجاع والتأريض.

عدد المعاملات مؤشر تقريبي على القدرة لا ضمان لها. النموذج الأكبر يتعامل عادة مع استدلال أصعب، ويكلّف أيضاً أكثر لكل token ويستجيب أبطأ. يعود المجال الثاني إلى هذه المقايضة مراراً.

التدريب المسبق بلا تصنيف

التعلم المُشرَف التقليدي يحتاج أمثلة مصنّفة: هذه المعاملة احتيال وهذه ليست. التصنيف بطيء ومكلف، وهو سبب بقاء مجموعات بيانات تعلم الآلة التقليدي صغيرة.

النماذج الأساسية تلتفّ حول هذا. تصف AWS نماذج LLM المبنية على transformer بأنها "قادرة على التدريب غير المُشرَف" عبر "التعلم الذاتي"، فتتعلم "فهم القواعد الأساسية واللغات والمعرفة". الحيلة أن النص الخام مفتاح إجاباته بنفسه. أخفِ كلمة واطلب من النموذج التنبؤ بها، فتحصل على مثال تدريبي بجواب صحيح، مولَّد مجاناً. كرّر ذلك عبر مدوّنة نصية ضخمة جداً، فتخرج القواعد والحقائق والأسلوب وأنماط الاستدلال من الهدف نفسه.

لهذا يمكن تدريب النماذج الأساسية على بيانات واسعة وغير مصنّفة في معظمها، بينما لا يستطيع مصنّف الاحتيال ذلك. التصنيف البشري لا يختفي كلياً، لكنه ينتقل إلى مرحلة لاحقة، إلى الضبط الدقيق والمواءمة، حيث تشكّل مجموعة أصغر بكثير ومنسّقة سلوكَ النموذج. يعود درس دورة حياة النموذج الأساسي إلى هذا الانقسام تحديداً.

النموذج الأساسي وLLM والنموذج التقليدي

هذه المصطلحات الثلاثة تقع على مستويات مختلفة، والاختبار يفحص قدرتك على إبقائها منفصلة.

العلاقة تسير في اتجاه واحد. كل LLM نموذج أساسي، وليس كل نموذج أساسي LLM. مولّد الصور ونموذج embedding النصي كلاهما نموذج أساسي، وليس أي منهما نموذج لغة كبير. إن وصف سؤالٌ نموذجاً يحوّل المدخل إلى متجهات للبحث بالتشابه، فوصف "LLM" خاطئ حتى لو كان النموذج كبيراً ومدرَّباً على نص.

نصائح للاختبار

• كلمات "واسع" و"متنوع" و"غير مصنّف" و"قابل للتكييف لمهام كثيرة" تشير إلى النموذج الأساسي. النموذج المدرَّب على مجموعة مصنّفة واحدة لعمل واحد هو تعلم آلة تقليدي مهما كان كبيراً.
• "LLM" هو المصطلح الأضيق. إن ذكر السيناريو صوراً أو فيديو أو embeddings كمخرج، فالجواب نموذج أساسي لا LLM. الخيارات التي تعامل المصطلحين كمترادفين هي الفخ عادة.
• في أسئلة transformer، الفارق المميِّز هو المعالجة المتوازية للتسلسل كاملاً، مع self-attention لترجيح الصلة وpositional encoding لإعادة الترتيب. الخيار الذي يقول إن transformer يعالج الـ tokens واحداً تلو الآخر يصف RNN.
• توقّع مموّهاً يدّعي أن التدريب المسبق يحتاج بيانات مصنّفة. لا يحتاجها. التدريب المسبق ذاتي الإشراف على نص غير مصنّف هو تحديداً ما يجعل حجم النماذج الأساسية ممكناً.
• لا تقرأ عدد المعاملات كضمان للدقة. النماذج الأكبر تستدل عادة أفضل وتكلّف دائماً أكثر لكل token، ولا يتوقف أي منها عن الهلوسة.

الفكرة التي تحملها معك: النموذج الأساسي كومة هائلة من أوزان متعلَّمة تتنبأ باستكمالات محتملة، وكل ما تبنيه فوقه محاولة لتوجيه تلك التنبؤات نحو شيء نافع وصحيح. ولتوجيهها، عليك أولاً أن تعرف ما الذي يستهلكه النموذج فعلاً، وهو ليس الكلمات. الدرس التالي يفكّك المدخل إلى tokens وقطع وembeddings.