ⓘ آسروك
قد لا تبدو بطاقة الرسومات المزودة بذاكرة VRAM بسعة 12 جيجابايت خيارًا واضحًا لتشغيل نموذج الذكاء الاصطناعي الذي يحتوي على 125 مليار معلمة. ومع ذلك، يشير اختبار جديد يتضمن معالج Intel Arc B580 إلى أن البرنامج الذي يتعامل مع عبء العمل يمكن أن يحدث فرقًا كبيرًا في الأداء.
في الاختبار المنشور في 26 أكتوبر منشور التكنولوجيا الياباني مشاهدة الكمبيوتر سجلت 31.1 رمزًا في الثانية باستخدام محرك الاستدلال XeStrata مفتوح المصدر. حقق نفس النظام 10.9 رمزًا في الثانية مع Strata ، وهو المشروع الذي اشتق منه XeStrata.
وهذا يؤدي إلى ما يقرب من 2.85 مرة ضعف سرعة الجيل الأصلي، أو تحسين بحوالي 185%، دون تغيير بطاقة الرسومات.
وحدة معالجة الرسومات بسعة 12 جيجابايت ليست سوى جزء من المعادلة
استخدم الاختبار معالج ASRock Intel Arc B580 Challenger 12GB OC إلى جانب معالج Intel Core Ultra 5 250KF Plus وذاكرة DDR5 سعة 64 جيجابايت. كان Ubuntu 26.04 LTS هو نظام التشغيل.
كان النموذج هو Qwen3.8-Flash-Next ، وتم تكوينه باستخدام القياس الكمي IQ3_S وسياق 64 كيلو بايت وذاكرة تخزين مؤقت KV 8 بت. هذه التفاصيل مهمة لأن القياس الكمي وطول السياق وتخصيص الذاكرة يمكن أن تؤثر جميعها على أداء الاستدلال.
على الرغم من أن النموذج يحتوي على 125 مليار معلمة، إلا أن الاختبار لا يوضح أن النموذج بأكمله يمكن أن يتناسب مع 12 جيجابايت من VRAM. تم تصميم Strata و XeStrata للاستفادة من ذاكرة النظام جنبًا إلى جنب مع تسريع وحدة معالجة الرسومات، مما يسمح لنماذج أكبر بكثير بالعمل على أجهزة ذات ذاكرة رسومات محدودة نسبيًا.
يتطلب القياس المحدد لهذا الاختبار ما يقرب من 50 جيجابايت من ذاكرة الوصول العشوائي للنظام وفقًا لمعلومات إعداد ستراتا. وبالتالي، يعد تكوين الذاكرة بسعة 64 جيجابايت جزءًا أساسيًا من النتيجة، وليس تفاصيل عرضية.
بالنسبة لشخص يفكر في استنتاج الذكاء الاصطناعي المحلي على الميزانية، يمكن القول إن هذا التمييز أكثر فائدة من مواصفات وحدة معالجة الرسومات وحدها.
ماذا تغير بين النتيجتين؟
تضمنت المقارنة Strata 0.2.1 و XeStrata ، وهو مشتق يتضمن تحسينات إضافية لبنيات GPU المدعومة.
قامت PC Watch بتثبيت XeStrata باستخدام حزمة Ubuntu 0.1.43-2، المتوافقة مع إصدار المشروع xe0.1.43.1. تم اختبار كلا المحركين باستخدام نفس الطراز والتكوين.
ⓘ آسروك
زيستراتا وثائق الافراج يصف التحسينات على مسارات تنفيذ Intel GPU ، بما في ذلك استخدام أجهزة مصفوفة XMX لعمليات معينة. ومع ذلك، فإن مقارنة PC Watch المنشورة لا تحدد مقدار فرق السرعة المقاس الذي يأتي من أي تحسين فردي.
ولذلك ينبغي فهم النتيجة على أنها مقارنة بين تكوينين برمجيين على نفس الكمبيوتر، وليس دليلاً على أن تقنية معينة مسؤولة عن المكسب بأكمله.
كما يتعلق الأمر أيضًا بإنتاجية إنشاء النص. ولا يُنشئ تحسينات مكافئة في المعالجة السريعة أو زمن استجابة الاستجابة أو دقة النموذج أو أعباء عمل الذكاء الاصطناعي الأخرى.
الاستدلال الأسرع لا يلغي حدود الأجهزة
وبسرعة 31.1 رمزًا في الثانية، أنتج تكوين XeStrata نصًا بمعدل ثلاثة أضعاف المعدل الملحوظ مع Strata. وهذا فرق كبير في الاختبار الذي تم الإبلاغ عنه، خاصة وأن كلا النتيجتين جاءت من نفس بطاقة الرسومات سعة 12 جيجابايت.
ومع ذلك، فإن تشغيل نموذج كبير يظل أمرًا صعبًا. يتطلب الاختبار 64 جيجابايت من ذاكرة النظام، واعتبر المراجع أن Arc B580 غير كافٍ لأحمال العمل الثقيلة المستندة إلى الوكيل، حيث قد يكون من الأفضل أداء أكبر لوحدة معالجة الرسومات، والمزيد من VRAM ونوافذ السياق الأطول.
هناك أيضًا تمييز مهم في إصدار البرنامج. لم تعد حزمة XeStrata التي تم اختبارها بواسطة PC Watch هي الأحدث المتاحة. قدم إصدار المشروع في 24 أكتوبر تغييرات إضافية ووثق مشكلات الأداء المتعلقة ببرنامج تشغيل Intel والتي تؤثر على بعض تكوينات Linux.
وفقًا لذلك، لا ينبغي التعامل مع نتيجة الرمز المميز 31.1 كمعيار لكل إصدار أو مجموعة برامج تشغيل XeStrata.
إن الفكرة الأكثر إثارة للاهتمام ليست أن وحدة معالجة الرسومات سعة 12 جيجابايت قد تغلبت بطريقة أو بأخرى على متطلبات الذاكرة لطراز 125B. وهو أن محركين استدلاليين يعملان بنفس النموذج على أجهزة متطابقة ينتجان سرعات توليد مختلفة بشكل ملحوظ.
بالنسبة للمستخدمين الذين يقومون بتجربة نماذج اللغات الكبيرة محليًا، فإن ذلك يجعل اختيار البرنامج أحد الاعتبارات المهمة إلى جانب VRAM وذاكرة النظام وبطاقة الرسومات نفسها.
لويز هي لغوية ومؤدية شغوفة ولها خلفية في الترجمة لدى مؤسسات الأمم المتحدة والاتحاد الأوروبي. بفضل حبها العميق للغات وسرد القصص، تمزج بين الدقة والإبداع، سواء في ترجمة النصوص المعقدة أو إحياء الشخصيات على المسرح والشاشة. عندما لا تنغمس في الكلمات أو الموسيقى، ستجد لهجاتها تنقيحها، أو تعمل على أغانٍ جديدة، أو تستكشف سحر السينما.
