IBM Research: ذاكرة الوكلاء تحتاج إلى معايرة بحسب قدرات النموذج لا إلى مزيد من السياق فقط
عرضت IBM Research مكتبة ALTK-Evolve، وهي طريقة تمكّن الوكيل من استخراج إرشادات قابلة لإعادة الاستخدام من مسارات عمله السابقة وإضافتها إلى السياق وقت الاستدلال من دون تدريب جديد للنموذج أو وسوم بشرية. وتظهر تجارب على ثمانية نماذج ضمن معيار AppWorld أن مقدار «الذاكرة» المناسب يختلف باختلاف النموذج: النماذج الأقوى قد تستفيد من مجموعة الإرشادات كاملة، بينما تحقق نماذج أخرى نتائج أفضل وأقل كلفة عبر استرجاع إرشادات محددة لكل مهمة.
أبرز النقاط
- ALTK-Evolve تستخرج إرشادات من محاولات الوكيل الناجحة والفاشلة وتضيفها إلى السياق وقت الاستدلال، من دون تحديث أوزان النموذج أو وسوم بشرية.
- اختبار IBM Research شمل ثمانية نماذج على 585 مهمة متعددة الخطوات ضمن معيار AppWorld.
- النماذج القوية التي لديها مساحة للتحسن قد تستفيد من مجموعة الإرشادات كاملة؛ DeepSeek-V3.2 سجل +9.5 نقاط مئوية في TGC و+16.1 نقطة في SGC.
- النماذج الأضعف قد تحقق نتيجة أفضل عبر نواة إرشادات صغيرة واسترجاع موجّه لكل مهمة؛ gpt-oss-120b سجل +16.1 نقطة في TGC مع زيادة 5% فقط في التوكنات.
- بعض النماذج لم تحقق مكاسب قابلة للقياس؛ تصف الدراسة هذا بالنمط «المشبع» ولا تحسم سببه.
- يمكن لـ prompt caching تقليل كلفة إعادة إرسال الجزء الثابت من الإرشادات عبر خطوات الوكيل.
ليست ذاكرة الوكلاء المعتمدين على LLM مسألة تشغيل أو إيقاف. هذا هو الاستنتاج الرئيسي من تجارب IBM Research حول ALTK-Evolve: إضافة كل ما تعلمه الوكيل من محاولاته السابقة إلى الـ prompt لا تمنح بالضرورة أفضل نتيجة، بل يجب معايرة كمية الإرشادات المضافة وفق قدرات النموذج.
تعتمد ALTK-Evolve على حلقة خارج أوزان النموذج. ينفذ الوكيل مهام متعددة وينتج مسارات عمل، ثم تستخرج المكتبة من المحاولات الناجحة والفاشلة إرشادات سلوكية، مثل الاستراتيجيات المفيدة والأخطاء التي ينبغي تجنبها والحالات الطرفية. بعد دمج هذه الإرشادات في مجموعة قابلة لإعادة الاستخدام، تُضاف إلى سياق الوكيل عند الاستدلال، إما كاملة أو عبر اختيار جزء مرتبط بالمهمة الحالية.
لا يتطلب هذا النهج تحديث أوزان النموذج ولا بيانات موسومة من البشر. أي أن التعلم يحدث عبر تغيير التوجيه المتاح للوكيل، لا عبر إعادة تدريب الـ LLM نفسه.
اختبرت الدراسة ثمانية نماذج على AppWorld، وهو معيار يضم 585 مهمة متعددة الخطوات موزعة على تسعة تطبيقات محاكاة، منها التقويم والرسائل والمدفوعات. وقاست النتائج عبر TGC، أي نسبة المهام المنجزة بالكامل، وSGC، وهو مقياس أشد صرامة لا يحتسب السيناريو ناجحاً إلا إذا اجتاز الوكيل كل تنويعاته.
رصد الباحثون ثلاثة أنماط متكررة. النماذج القوية التي ما زالت لديها مساحة للتحسن استفادت من مجموعة الإرشادات كاملة، بما فيها الدروس المتعلقة بالحالات النادرة. على سبيل المثال، ارتفع Task Goal Completion لنموذج DeepSeek-V3.2 بمقدار 9.5 نقاط مئوية عند استخدام مجموعة الإرشادات الكاملة، فيما ارتفع SGC بمقدار 16.1 نقطة مئوية.
في المقابل، قد تغرق النماذج الأضعف أو الأصغر في سياق طويل مليء بالإرشادات. لهذه الفئة، كان الأفضل استخدام نواة صغيرة عالية الثقة مع استرجاع عدد محدود من الإرشادات الملائمة لكل مهمة. وحقّق gpt-oss-120b زيادة قدرها 16.1 نقطة مئوية في TGC بهذا الأسلوب، مع ارتفاع في استخدام التوكنات بنحو 5% فقط. أما إدخال مجموعة الإرشادات كاملة فحقق مكسباً أقل وكلف نحو 50% توكنات إضافية.
كما ظهرت فئة ثالثة وصفتها الدراسة بـ«المشبعة»، إذ لم تسجل بعض النماذج تحسناً قابلاً للقياس. ووضعت IBM Research نموذج GLM-5 ضمن هذا النمط في تجاربها، مع التأكيد على أن الوصف يرصد النتيجة ولا يثبت سببها: قد يكون النموذج قريباً من سقفه في تلك المهام، أو أن الإرشادات لا تستهدف أنماط الفشل المتبقية، أو أنه لا يطبقها بفاعلية.
وتشير الدراسة إلى أن عدد المعاملات وحده لا يفسر النمط الذي ينتمي إليه كل نموذج. فقد تؤثر مساحة التحسن في المعيار، وحجم نافذة السياق، وبنية النموذج، وجودة الإرشادات، وتوزيع المهام. لذلك، تقترح النتيجة العملية اختبار استراتيجية الذاكرة لكل نموذج بدلاً من افتراض أن المزيد من السياق أفضل دائماً.
من ناحية الكلفة، توضح IBM Research أن العبء الإضافي لا يأتي بالضرورة من مسارات تفكير أطول؛ إذ نفذ DeepSeek تقريباً العدد نفسه من خطوات ReAct مع الذاكرة ومن دونها، بمتوسط يقارب 18 إلى 19 خطوة. الكلفة الأساسية هي إعادة إرسال الإرشادات ضمن الإدخال في كل خطوة. وهنا يمكن لـ prompt caching أن يخفض الكلفة الفعلية عندما يبقى الجزء الثابت من الإرشادات مستقراً وقابلاً للتخزين المؤقت.
المكتبة متاحة باسم ALTK-Evolve وتشمل مسار استخراج الإرشادات ودمجها واسترجاعها. لكن النتائج الحالية تظل محصورة في معيار AppWorld، وتضع الدراسة تطوير selector متعلم بدلاً من الترتيب الحالي بالتشابه الكوني، واختبار ذاكرة مناسبة للنماذج الأضعف جداً، وتوسيع التقييم إلى معايير وبيئات واقعية ضمن الخطوات التالية.
لماذا يهم؟
تضيف فرق بناء الوكلاء الذاكرة غالباً بهدف تحسين الأداء، لكن هذه النتائج تشير إلى أن تصميمها يجب أن يكون جزءاً من تقييم النموذج نفسه. الاسترجاع الانتقائي قد يحسن الدقة والكلفة معاً في بعض النماذج، بينما قد يكون السياق الكامل مناسباً لنماذج أقوى. عملياً، لا ينبغي قياس نجاح الذاكرة بعدد الدروس المخزنة، بل بمدى قدرة النموذج على استخدام ما يُحقن في الـ prompt.