لماذا يصعب فهم نماذج اللغة الكبيرة إلى هذا الحد؟
بقلم: بن بروبيكر
المصدر: QuantaMagazine
عادةً لا تُصنع الآلة دون فهم طريقة عملها؛ لكن بالنسبة للباحثين العاملين على نماذج اللغة الكبيرة، فإن هذا الفهم تحديداً هو ما لم يُدرَك بعد. بل إن عملهم أحياناً أشبه بالبستنة منه بالهندسة.
يقول مارتن واتنبرغ، الباحث في نماذج اللغة بجامعة هارفارد: «عندما تزرع بذرة طماطم في التربة، ينمو نبات الطماطم. أنت تسقيه، وتزيل الأعشاب من حوله، لكن كيف ينمو هذا النبات فعلاً؟».
يحاول هؤلاء العلماء تحليل سلوك نماذج اللغة عبر مراقبة استجابتها لمدخلات مختلفة – وهو نهج شبيه بعلم النفس السلوكي. لكن الباحثين في المجال الناشئ «قابلية التفسير الميكانيكية» (Mechanistic Interpretability)، المستوحى من علوم الأعصاب، يفتحون النموذج من الداخل بدلاً من مراقبته من الخارج ليفهموا ما يجري فيه بالضبط. وقد استطاعت جهودهم الأولى تفسير كيفية تمثيل نماذج اللغة للمفاهيم وكيفية أدائها لبعض المهام البسيطة. كما تم التوصل إلى نتائج غير متوقعة تُظهر مدى صعوبة الفهم الحقيقي للذكاء الاصطناعي.
دماغ اصطناعي في قلب نماذج اللغة الكبيرة
بُنيت نماذج اللغة الكبيرة على كائنات رياضية مستوحاة جزئياً من دماغ الإنسان. هذه الكائنات المعروفة باسم الشبكات العصبية الاصطناعية تنفّذ مجموعة من العمليات الرياضية البسيطة على نحو متسلسل لمعالجة سلاسل من الأعداد – التي تمثّل الكلمات. ويعتمد أداء نموذج اللغة – أن يكون مخرجه بلا معنى أو دقيقاً جداً – على مجموعة أخرى من الأعداد تُسمى المعاملات. وتعبّر هذه المعاملات عن العلاقات داخل الشبكة العصبية.
يمكن أن تحتوي نماذج اللغة الكبيرة على مليارات أو حتى تريليونات المعاملات، ولا أحد يعرف تحديداً كيف ينبغي اختيار هذه القيم؛ لذلك يبدأ النموذج بقيم عشوائية، ويُدخَل إليه حجم هائل من البيانات بهدف بسيط: التنبؤ بالكلمة التالية في كل مقطع نصي.
يكرّر النموذج هذا العمل تريليونات المرات. وبعد كل محاولة، تعدّل خوارزمية أخرى المعاملات بحيث يزداد قليلاً احتمال إنتاج الإجابة الصحيحة. ويُسمى هذا «التدريب»، لكن هذه الكلمة مضلّلة بعض الشيء؛ إذ إن دور الباحثين بعد بدء العملية يكاد يماثل دور البستاني في نمو النبات.
نافذة إلى داخل دماغ نماذج اللغة
نظرياً، يمكن للباحثين رؤية جميع قيم معاملات نموذج مُدرَّب. كما يمكنهم تسجيل استجابة كل جزء داخلي من النموذج لمدخل معيّن – وهو ما يسمى التنشيط. وتعادل هذه البيانات خريطة كاملة لدماغ إنسان مع أقطاب كهربائية لقياس نشاط كل خلية عصبية. لكن كل هذه البيانات لا تؤدي بالضرورة إلى تفسير. ويظل التنبؤ بسلوك النموذج إزاء مدخلات جديدة أمراً صعباً.
لحسن الحظ، لا يكتفي باحثو قابلية التفسير بمراقبة القيم – بل يمكنهم أيضاً التلاعب بها. وتحرير المعاملات أشبه بإجراء جراحة دماغ بدقة فائقة. كما يمكن لهؤلاء الباحثين تغيير التنشيطات مؤقتاً ليروا كيف يتغير مخرج النموذج.
بل يمكنهم نسخ حالة ذهنية ولصقها في سيناريو آخر: يُدخِلون المدخل الأول إلى النموذج، ويخزّنون تنشيط أجزاء بعينها، ثم يُدخِلون تلك التنشيطات في استجابة النموذج للمدخل الثاني. وتساعد هذه الطريقة الباحثين على تحديد موضع تخزين بعض المفاهيم في النموذج. لكن النتائج ليست دائماً واضحة. فحتى لو كان مفهوم ما مخزّناً في جزء بعينه من النموذج، فقد يتغير بالتلاعب بجزء آخر – وهو ما يدل على أن العمل الداخلي للشبكات العصبية لا ينسجم مع الحدس الإنساني.
تقول أسماء قندهاريون، الباحثة في DeepMind التابعة لجوجل:
«هناك أشياء كثيرة تبدو في ظاهرها صحيحة، لكنك حين تنظر إليها عن كثب تجد أنها ليست كذلك إطلاقاً.»
خطوات نحو فهم أفضل
نجح الباحثون في تحديد بعض العمليات التي تستخدمها نماذج اللغة لأداء مهام مثل استرجاع الكلمات السابقة، أو تمييز الأدوار النحوية، أو إجراء عمليات حسابية بسيطة. ومع ذلك، تسلك النماذج أحياناً مسارات مختلفة لمهام متشابهة تبدو عشوائية تماماً. مثل أن تتحقق من حالة الطقس قبل تنظيف أسنانك، لأنك إذا هطل المطر ستستخدم فرشاتك الوردية الداكنة!
وفي حالات أخرى، تمتلك النماذج مجموعات مستقلة من مكوّنات متشابهة تؤدي المهمة نفسها بالضبط، وهو ما يصعّب محاولات فصل الوظائف. بل لوحظت ظاهرة تُسمى «الإصلاح الذاتي الطارئ» (Emergent Self-Repair)، حيث يؤدي تعطيل جزء من النموذج إلى تغيير أجزاء أخرى لسلوكها وتولّيها مهمة الجزء المعطّل.
مستقبل واعد في قلب التعقيد رغم كل هذه التعقيدات، لا يزال كثير من باحثي قابلية التفسير متفائلين بمستقبل هذا المجال. يقول واتنبرغ:
«هناك مجال للتقدم. نحن الآن أبعد كثيراً مما كنا عليه قبل خمس سنوات.»
