باحثون من Meta يدرّبون Qwen3-8B لمنافسة Claude Opus 4.5 في مهام agents طويلة المدى
قدّم باحثون من Meta AI وجامعة إلينوي في أوربانا-شامبين إطار EvoHarness-RL لتدريب AI agents على إدارة حالتها وذاكرتها أثناء تنفيذ المهام الطويلة. وعلى معيار ALFWorld، حقق نموذج Qwen3-8B بعد التدريب نسبة نجاح 96.9%، مقابل 96.4% لـ Claude Opus 4.5 في الإعداد الجاهز للاستخدام ضمن الاختبار نفسه.
أبرز النقاط
- EvoHarness-RL يدرب الـ AI agent على إدارة طبقة التشغيل harness، وليس فقط اتباع تعليمات استخدام أدوات ثابتة.
- واجهة BPE توحّد ثلاث حالات: Belief لفهم البيئة، وProgress لتتبع المهمة، وExperience لإعادة استخدام الخبرات.
- استخدم الباحثون تدريباً على مرحلتين: fine-tuning لتنظيم الحالة، ثم reinforcement learning يراعي كلفة الاستعلامات والـ tokens.
- حقق Qwen3-8B مع الإطار نسبة نجاح 96.9% على ALFWorld، مقابل 96.4% لـ Claude Opus 4.5 ضمن الاختبار المعلن.
- يمكن إضافة BPE كطبقة لإدارة الحالة داخل أنظمة orchestration القائمة، بحسب الباحثين.
في مهام الـ AI agents التي تمتد لساعات أو تتضمن خطوات كثيرة، لا تكفي نافذة السياق وحدها. يحتاج الـ agent إلى متابعة ما حدث فعلاً في البيئة، ومعرفة ما أنجزه وما بقي عليه، والرجوع إلى خبرات سابقة عند ظهور خطأ أو حالة غير مألوفة.
لهذا قدم باحثون من Meta AI وجامعة University of Illinois Urbana–Champaign إطاراً باسم EvoHarness-RL. الفكرة ليست تدريب النموذج على استخدام أداة واحدة محددة، بل تدريبه على إدارة ما يسمى بـ harness: طبقة التشغيل التي تمنحه سجلات التنفيذ، وحالة الـ workflow، والذاكرة، وآليات التعافي من الأخطاء.
مساحة موحدة للحالة والذاكرة
يعتمد الإطار على واجهة موحدة تسمى BPE، وتجمع ثلاثة أنواع من المعلومات التي يحتاجها الـ agent:
- Belief: فهمه الحالي للبيئة، مثل حالة الـ repository أو اتصالات الـ API المتاحة.
- Progress: الخطوات المنجزة، والخطوات المتبقية، والاعتماديات بينها.
- Experience: الدروس والاستراتيجيات التي يمكن إعادة استخدامها بين المهام.
بدلاً من التعامل المباشر مع APIs كثيرة ومخصصة لكل بيئة، يستخدم النموذج أربع عمليات عامة: track لمتابعة الحالة الحية، وcommit لتثبيت تحديثات سير العمل، وrecall لاسترجاع خبرات سابقة، وnote لتسجيل معرفة جديدة.
التدريب لا يركز على الذاكرة فقط، بل على كلفة استخدامها
يتكون التدريب من مرحلتين. أولاً، يتعلم النموذج تنظيم الحقائق المفيدة المستخرجة من سجلات التفاعل داخل بنية BPE. ثم تأتي مرحلة reinforcement learning تراعي الكلفة، لتعليم النموذج متى يكون الرجوع إلى الذاكرة أو تحديث متتبعات الحالة مفيداً بما يكفي لتبرير استهلاك الوقت والـ tokens.
هذا مهم لأن الاستعلام عن الحالة الخارجية في كل خطوة ليس خياراً مثالياً دائماً. وفقاً للتجارب، يبدأ الـ agent بالاعتماد بكثافة على وحدات التتبع والذاكرة، ثم يقلل استخدامها للمهام الروتينية التي أتقنها. لكن عند مواجهة بيئة جديدة أو خطأ غير متوقع، يعيد توسيع استخدامه لهذه الوحدات بدلاً من التخمين.
نتائج على نموذج 8B
اختبر الفريق الإطار على معيار ALFWorld، وهو بيئة نصية لمهام متعددة الخطوات تختبر المنطق التسلسلي وتتبع الحالة. استُخدم Qwen3-8B كنموذج أساس، ثم قورن بنماذج frontier وأطر agents ثابتة وأخرى قابلة للتدريب.
حقق Qwen3-8B مع EvoHarness-RL متوسط نجاح بلغ 96.9%، بزيادة 49 نقطة مئوية مقارنة بإعداد ReAct الأساسي. كما تفوق في التجربة على SkillRL بنسبة 89.9% وSkillOS بنسبة 80.2%، وبلغ نتيجة قريبة جداً من Claude Opus 4.5 الذي سجل 96.4% في الإعداد الجاهز للاستخدام.
ولم تقتصر الفكرة على النموذج الصغير المدرب. عند إضافة BPE على مستوى الـ prompt إلى نماذج ثابتة، تحسن أداء GPT-4.1 بمقدار 22.1 نقطة، وGPT-5 بمقدار 25.7 نقطة في الاختبار نفسه.
لا يعني ذلك أن BPE ضروري لكل agent. فالمهام القصيرة والمستقرة قد تكفيها أنماط مثل ReAct أو RAG التقليدي. لكن قيمته تظهر أكثر عندما يعمل الـ agent على مهام طويلة ومعقدة، حيث يصبح تتبع القرارات والحالة والأخطاء السابقة جزءاً أساسياً من جودة التنفيذ.
كما يشير الباحثون إلى أن الإطار يمكن أن يُضاف كطبقة لإدارة الحالة ضمن أنظمة orchestration الحالية، بدلاً من فرض استبدال الأدوات أو أطر agents الموجودة بالكامل.
لماذا يهم؟
التحدي في agents ليس اختيار النموذج فقط، بل كيفية تشغيله وسط حالة متغيرة وذاكرة وأخطاء وخطوات مترابطة. تشير هذه النتائج إلى أن تدريب النموذج على إدارة هذا السياق الخارجي بذكاء قد يرفع أداء النماذج الأصغر في مهام طويلة المدى، مع تقليل الاستعلامات غير الضرورية عن الأدوات والذاكرة.