BenchMIRT يحلل ما تقيسه اختبارات LLM فعلياً على مستوى كل سؤال

الدرجة الواحدة في Benchmark قد تبدو حاسمة عند مقارنة نماذج اللغة الكبيرة، لكنها لا تشرح دائماً ما القدرة التي قاستها فعلياً. لهذا طُرح منهج جديد باسم BenchMIRT لتدقيق تقييمات LLM على مستوى السؤال أو المهمة الفردية، بدلاً من الاكتفاء بمتوسط نتيجة الاختبار.

ينطلق المنهج من ملاحظة بسيطة: قد يُصمَّم Benchmark لقياس السلامة أو الاستدلال أو اتباع التعليمات، لكن أسئلته قد تتطلب قدرات إضافية. فالسؤال الذي يختبر تحيزاً اجتماعياً، مثلاً، قد يتطلب أيضاً تتبع الشخصيات وفهم الأدلة الواردة في السياق قبل الوصول إلى إجابة سليمة.

يعتمد BenchMIRT على امتداد متعدد الأبعاد من Item Response Theory أو IRT، وهي تقنية مستخدمة لقياس القدرات من أنماط الإجابات في الاختبارات. ويقدّر المنهج، لكل نموذج، مدى قوته في القدرات الكامنة التي تعكسها مجموعة الاختبارات، كما يقدّر لكل سؤال صعوبته وقدرته على التمييز بين النماذج الأقوى والأضعف في تلك القدرات.

دُرّب BenchMIRT على نتائج 100 نموذج LLM عبر 16 Benchmark وأكثر من 34 ألف سؤال. شملت المجموعة ستة اختبارات للاستدلال العام، مثل MMLU-Pro وGPQA وMATH وBBH، إلى جانب 10 اختبارات من مجموعة Olmo 3 للسلامة، منها HarmBench وStrongReject وWildJailbreak وBBQ وWMDP وXSTest.

بُعدان ظهرا من البيانات

لم يُزوَّد BenchMIRT بتصنيف مسبق للاختبارات وفق القدرة التي يفترض أنها تقيسها. ومع ذلك، استخرج بُعدين مهيمنين: السلامة والاستدلال العام. وعند إعادة التحليل من الصفر، ظهر البعدان نفسيهما في كل مرة، وهو ما يشير إلى استقرار النتيجة ضمن هذه المجموعة من التقييمات.

أكدت النتائج، في كثير من الحالات، التوجه المتوقع: ارتبط الأداء القوي في اختبارات الاستدلال بقدرة الاستدلال العام، بينما ارتبط الأداء في اختبارات jailbreak والمحتوى الضار ببعد السلامة. لكن الصورة لم تكن متطابقة مع التصنيفات الشائعة لجميع الاختبارات:

• ظهر Benchmark باسم BBQ، المصمم لتقييم التحيز الاجتماعي ويُدرج عادة ضمن اختبارات السلامة، مرتبطاً بالاستدلال العام بدرجة أقوى في التحليل. لذلك قد تعكس نتيجته المنخفضة صعوبة في فهم السؤال أو الاستدلال من أدلته، لا سلوك السلامة وحده.
• ارتبط WMDP، الذي يختبر المعرفة الخطرة مزدوجة الاستخدام في الأحياء والكيمياء والأمن السيبراني، بالاستدلال العام أكثر من السلامة. لكن الاستدلال الأقوى ارتبط بنتائج أقل في الاختبار، لأن الامتناع عن تقديم المعرفة الخطرة أو الفشل في تقديمها يُعد النتيجة المرغوبة فيه.
• كشف HarmBench عن اختلافات داخل الاختبار نفسه: ارتبطت أسئلته القياسية والسياقية بالسلامة بدرجة أكبر، بينما ارتبطت أسئلة حقوق النشر فيه بالاستدلال العام بصورة أقوى.

لا تعني هذه النتائج بالضرورة أن تلك التقييمات معيبة، لكنها توضح أن النتيجة الإجمالية قد تدمج إشارات لعدة قدرات، ما يجعل تفسيرها أصعب من مجرد قراءة رقم واحد.

اختبارات أصغر ومؤشرات أدق

استخدم الباحثون تقديرات BenchMIRT على مستوى السؤال لترتيب الأسئلة بحسب قدرتها على التمييز بين النماذج، مع الإبقاء على مزيج من الأسئلة السهلة والصعبة. وعبر الاختبارات الـ16، حافظ اختيار 10% فقط من الأسئلة عموماً على صورة قريبة جداً لترتيب قوة النماذج في السلامة أو الاستدلال مقارنة بالمجموعة الكاملة. أما الاحتفاظ بـ50% من الأسئلة فكان غالباً أقرب إلى القياس الكامل لهذه القدرات.

كما اختبر المنهج توقع أداء نموذج في سؤال لم يُرصد أنه أجاب عنه. في التجارب، أصاب BenchMIRT في توقع صحة الإجابة بنسبة 79%، مقابل 70% لأسلوب أبسط يفترض أن أداء النموذج في كل سؤال يساوي تقريباً متوسط أدائه العام في الـBenchmark.

للمنهج حدود واضحة: النماذج المستخدمة في التدريب والتقييم كانت جميعها منشورة حتى مارس 2025، كما أن الأبعاد التي يستخرجها تعتمد على حزمة الاختبارات المدخلة إليه؛ لذا قد تُظهر مجموعة مختلفة قدرات كامنة مختلفة. وإذا كان الهدف فقط ترتيب النماذج بحسب أدائها المتوقع في أسئلة عشوائية محجوبة، فإن متوسط درجة الـBenchmark يتفوق قليلاً على BenchMIRT.

وتكمن قيمة BenchMIRT الأساسية في التفاصيل: فهم الأسئلة التي تقود النتيجة، والأسئلة التي لا تضيف معلومات كافية، والقدرات التي تختلط داخل Benchmark واحد. لكن هذه الشفافية تنطوي أيضاً على مخاطرة، إذ يمكن نظرياً استغلالها لإزالة أسئلة السلامة الأكثر إفادة وبناء تقييم أضعف يمكن لنموذج غير آمن تجاوزه.