DwarfStar 4 يشغّل نماذج DeepSeek وQwen وGLM محلياً عبر تكميم 2-bit غير متماثل
يقدّم DwarfStar 4، أو ds4، محرك استدلال مكتوباً بلغة C لتشغيل عائلات محددة من نماذج MoE الكبيرة محلياً على أجهزة Mac عالية الذاكرة ومنصات CUDA وROCm. يعتمد المشروع تكميم 2-bit غير متماثل لضغط الخبراء الموجّهين مع الحفاظ على المسارات المشتركة المهمة بدقة أعلى، ويضم واجهة سطر أوامر وخادماً محلياً ووكيل برمجة.
أبرز النقاط
- يعتمد ds4 تكميم 2-bit غير متماثل لضغط الخبراء الموجّهين في نماذج MoE مع إبقاء المسارات المشتركة المهمة بدقة أعلى.
- يدعم DeepSeek V4 وV4.1 Flash وGLM 5.x وQwen3.8 Flash Next للنص والرؤية.
- يوفر واجهة سطر أوامر وخادماً محلياً متوافقاً مع أنماط OpenAI وAnthropic ووكيل برمجة مستمراً.
- يركز على ملفات GGUF الخاصة بالمشروع ولا يهدف إلى أن يكون مشغلاً عاماً لجميع ملفات GGUF.
- يستفيد من حفظ بادئات السياق الطويل على SSD لتقليل إعادة التحضير بعد استئناف الجلسات.
يستهدف DwarfStar 4 (ds4) مشكلة مألوفة في نماذج الذكاء الاصطناعي الكبيرة: نماذج مثل DeepSeek V4 Flash تعتمد بنية «خليط الخبراء» (Mixture of Experts - MoE)، وهي بنية تضم عدداً كبيراً من الأجزاء المتخصصة، لكن النموذج لا يستخدمها كلها في كل طلب. غالباً ما تُشغّل هذه النماذج عن بُعد بسبب متطلبات الذاكرة، بينما يحاول ds4 جعل تشغيلها محلياً ممكناً على أجهزة ذات ذاكرة كبيرة.
الفكرة الأساسية في المشروع هي التكميم غير المتماثل إلى 2-bit. التكميم يقلل دقة تمثيل أوزان النموذج لتقليل استهلاك الذاكرة. وفي ds4، يُضغط جزء «الخبراء الموجّهين» بدرجة أكبر، فيما تبقى المسارات المشتركة والحساسة بدقة أعلى. وفق المشروع، يتيح هذا التوازن تشغيل البنى المدعومة على العتاد المستهدف من دون التعامل مع النموذج كله بالمستوى نفسه من الضغط.
يدعم ds4 عائلات محددة هي DeepSeek V4 وV4.1 Flash وGLM 5.x وQwen3.8 Flash Next، بما يشمل نماذج النص والرؤية. وهو ليس مشغلاً عاماً لملفات GGUF؛ بل يركّز على ملفات GGUF الخاصة بالمشروع وعلى عدد محدود من تخطيطات النماذج التي يختبرها طرفاً إلى طرف.
ما الذي يوفره المحرك؟
يوفر المشروع ثلاث واجهات تعمل فوق حالة النموذج وذاكرته المؤقتة نفسها:
./ds4للمحادثة من سطر الأوامر../ds4-serverلتشغيل API محلي../ds4-agentلجلسات برمجة مستمرة.
الخادم متوافق مع أنماط API الخاصة بـ OpenAI وAnthropic، ما يتيح لوكلاء البرمجة والعملاء المحليين الاتصال به عبر عنوان خادم محلي. كما يذكر المشروع دعماً لإدخال الصور، والتوازي بين العتاد، وتجميع الجلسات، وبث بعض البيانات من SSD.
ومن الميزات العملية حفظ بادئات المحادثات الطويلة على SSD واستعادتها عبر بصمة للمطالبة. المقصود بالبادئة هنا الجزء الأول المشترك من سياق طويل؛ وإعادة استخدامها قد تجنب إعادة معالجة هذا الجزء بالكامل بعد إعادة تشغيل الجلسة.
متطلبات الذاكرة والأداء المعلن
يشير اختبار الملاءمة في المشروع إلى أن DeepSeek V4 Flash بتكميم Q2 هو نقطة البداية، وأن أجهزة بذاكرة 128GB يمكنها أيضاً استيعاب GLM 5.3 Q2 وQwen بتكميم Q4، بينما يمكن لـ V4.1 Q2 البث من SSD.
وفي جدول مرجعي منشور للمشروع، سجل M5 Max بذاكرة 128GB مع نموذج Q2 سرعة توليد تبلغ 39.4 رمزاً في الثانية عند سياق 2,048 رمزاً، و27.6 رمزاً في الثانية عند سياق 65,536 رمزاً. ويعرض الجدول سرعة التحضير وسرعة التوليد كلّاً على حدة، وهو فصل مهم في أعباء العمل ذات السياقات الطويلة: التحضير هو قراءة ومعالجة النص السابق، أما التوليد فهو إنتاج الرموز الجديدة خطوة بخطوة.
المشروع مرخص برخصة MIT، ويستهدف Metal على أجهزة Apple إلى جانب CUDA وROCm. ويظل اختياره مقيداً بالعتاد ذي الذاكرة الكبيرة وبالنماذج والملفات التي يدعمها تحديداً، بدلاً من السعي إلى تشغيل أي ملف GGUF متاح.
لماذا يهم؟
تشغيل نماذج MoE الكبيرة محلياً قد يمنح المطورين والفرق تحكماً أكبر في مكان معالجة البيانات وربط أدواتهم بخادم على أجهزتهم. لكن ds4 ليس حلاً عاماً أو خفيفاً؛ قيمته العملية ترتبط بتوفر ذاكرة كبيرة وباستخدام عائلات النماذج وملفاتها المدعومة.