Google DeepMind تختبر تقييماً مزدوج التعمية لنموذج Gemini داخل بيئة تشفيرية

تجري Google DeepMind تجربة لتقييم نموذج AI بطريقة مزدوجة التعمية، بهدف الحد من مشكلة benchmark contamination: أي احتمال أن يكون النموذج قد اطّلع مسبقاً على أسئلة أو prompts التقييم، ما قد يرفع نتائجه بصورة لا تعكس قدراته الفعلية.

تتعاون الشركة في هذا المشروع مع Singapore AI Safety Institute وOpenMined وAVERi وMLCommons. ويجري اختبار نموذج Gemini Flash Lite مقابل benchmarks سرية داخل بيئة تحافظ على خصوصية الطرفين.

الفكرة تعالج مفاضلة شائعة في التقييمات الخارجية عالية الحساسية: إذا سلّم المقيم أسئلة الاختبار لمزوّد النموذج، فقد تنكشف prompts التي يجب أن تبقى سرية. وإذا سلّم مزوّد النموذج أوزانه للمقيم، فهو يعرّض ملكيته الفكرية للخطر.

كيف تعمل التعمية المزدوجة؟

تعتمد التجربة على Confidential Space ضمن خدمات Confidential Computing في Google Cloud. وتستخدم البيئة آليات تشفيرية للتحقق من بقاء كل أصل لدى مالكه:

• المقيم الخارجي لا يرى أوزان نموذج Gemini.
• Google لا ترى prompts أو بيانات الاختبار السرية.
• يُنفّذ التقييم في بيئة مقيدة تشفيرياً، بحيث لا تُستخدم بيانات التقييم لاحقاً لتحسين أداء النموذج قبل الاختبار.

توضح DeepMind أن بروتوكولات عدم الاحتفاظ بالسجلات والاتفاقات التعاقدية كانت تُستخدم سابقاً لحماية prompts التقييم. لكن إضافة ضمانات تقنية وتشفيرية توفر طبقة أخرى للتحقق من سلامة العملية.

وتبرز أهمية هذا النوع من التقييم خصوصاً في الاختبارات الحساسة، مثل تقييمات الأمن السيبراني أو التقييمات التي قد تستخدمها جهات حكومية. فبدلاً من الاختيار بين سرية بيانات المقيم وحماية أوزان النموذج، يهدف النهج إلى تمكين الاختبار المستقل مع إبقاء بيانات كل طرف تحت سيادته.

تصف الشركة المبادرة بأنها pilot، ولم تعلن في هذا المنشور نتائج التقييم نفسه، بل ركزت على منهجية التنفيذ وبناء الثقة في نتائج benchmarks للنماذج المتقدمة.