Gemini يضيف فهماً «وكيلياً» للفيديو للتنقل الذكي داخل المقاطع الطويلة

تدعم نماذج Gemini بالفعل إدخال الفيديو لفهم محتواه والإجابة عن الأسئلة واستخراج المعلومات والإشارة إلى طوابع زمنية محددة. الجديد هو نمط agentic video understanding، الذي يغيّر طريقة فحص الفيديوهات الطويلة أو الأسئلة التي تستهدف لحظة بعينها.

في المعالجة الافتراضية static، يستخرج Gemini إطاراً واحداً في الثانية ويضعه ضمن الـ context، إلى جانب معالجة الصوت والطوابع الزمنية. هذا مناسب للمقاطع القصيرة أو الحالات التي تحتاج فيها إلى تفحص متسق عبر كامل الفيديو، لكنه قد يفوّت تفاصيل الحركة السريعة وتغيّر المشاهد المتلاحق.

أما في نمط agentic، فلا يحمّل النموذج الفيديو كاملاً بالطريقة نفسها منذ البداية. بدلاً من ذلك، يتنقل ديناميكياً في الخط الزمني وفق الـ prompt، ويطلب عند الحاجة transcript أو إطارات أو صوتاً من أجزاء مرتبطة بالسؤال، كما يكيّف معدل الإطارات والدقة أثناء التحليل.

متى يُستخدم كل نمط؟

توصي Google بالبدء بنمط agentic عندما تكون الأولوية لجودة الإجابة أو كفاءة استهلاك الـ tokens، خصوصاً في الحالات التالية:

• فيديوهات طويلة، مثل المحاضرات والاجتماعات المسجلة.
• أسئلة تبحث عن حدث أو معلومة في نقطة محددة من الفيديو.
• مهام لا تتطلب إدخال جميع إطارات الفيديو إلى الـ context.

في المقابل، يبقى نمط static مناسباً للاستجابات الحساسة للزمن في المقاطع القصيرة، خاصةً الأقل من خمس دقائق، أو عندما تحتاج إلى دقة على مستوى الإطارات عبر الفيديو كله. يمكن أيضاً مزج النمطين داخل الطلب نفسه عند إرسال أكثر من فيديو.

تقول الوثائق إن المعالجة الوكيلية قد تستخدم ما يصل إلى 88% tokens أقل في المحتوى الطويل مقارنة بالمعالجة الثابتة، لأن النموذج يجلب فقط العناصر التي يحتاجها للإجابة. لكن هذا الأسلوب قد يزيد قليلاً زمن أول رمز مولّد TTFT في المقاطع القصيرة نتيجة خطوات التنقل والاستدلال الداخلية قبل توليد الرد.

كيف يظهر ذلك في Gemini API؟

يُحدد النمط لكل مدخل فيديو عبر الخاصية processing:

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": video_file.uri,
            "mime_type": video_file.mime_type,
            "processing": "agentic"
        },
        {"type": "text", "text": "ما الحجج الثلاث الرئيسية في المحاضرة؟"}
    ]
)

تظهر في الاستجابة، عند استخدام النمط الوكيلي، خطوات جديدة ضمن interaction.steps: وهي processing_call لطلب جزء من الفيديو أو النص الصوتي، وprocessing_result لنتيجة التحميل. يمكن للواجهات استخدام هذه الخطوات لعرض تقدم التحليل، ولا تتطلب رداً إضافياً من التطبيق.

في المحادثات متعددة الأدوار، يحتفظ الوضع Stateful بسياق الفيديو عبر previous_interaction_id. أما في الوضع Stateless، فيلزم تمرير جميع الخطوات المعادة في step_list في الطلب التالي للحفاظ على سياق الفيديو؛ حذفها لا يؤدي حالياً إلى خطأ في الـ API، لكنه يفقد السياق ويقلل جودة إجابات المتابعة.

تدعم Gemini API أيضاً رفع الفيديو عبر Files API، وهو الخيار الموصى به للملفات التي يتجاوز حجم الطلب فيها 20MB، أو للفيديوهات الطويلة، أو عندما سيُعاد استخدام الملف في أكثر من prompt. وللمقاطع الصغيرة يمكن تمرير البيانات داخل الطلب، كما يمكن استخدام روابط YouTube العامة مباشرة. تدعم نماذج Gemini 2.5 وما بعدها حتى 10 فيديوهات في الطلب الواحد.

بالنسبة للطلبات الطويلة أو المعقدة، توصي الوثائق باستخدام streaming أو background execution لتجنب انتهاء مهلة الاتصال أو المصادقة، مع إظهار خطوات التفكير وطلبات المعالجة الوسيطة أثناء التنفيذ.