قام باحثو شركة Apple ببناء نظام ذكاء اصطناعي يختبر عدة أفكار بالتوازي قبل الإجابة

في ورقة بحثية جديدة، يعرض فريق من باحثي Apple تفاصيل إطار عمل إبداعي يعمل على تحسين إجابات LLM في التفكير الرياضي وتوليد الأكواد والمزيد. وهنا التفاصيل.

الانتشار والانحدار الذاتي متحدان

في دراسة منقحة حديثا بعنوان LaDiR: الانتشار الكامن يعزز LLMs لاستدلال النص، قام باحثو Apple، جنبًا إلى جنب مع باحثين من جامعة كاليفورنيا، سان دييغو، بتفصيل طريقة مثيرة للاهتمام لتحسين جودة الإجابات الناتجة عن نماذج اللغة الكبيرة (LLMs) في مجالات معينة.

في الماضي، لقد ناقشنا نماذج الانتشار، والتي تولد النص عن طريق التكرار على العديد من الرموز المميزة بالتوازي مع كل مرور، على عكس نماذج الانحدار الذاتي، التي تعمل عن طريق حساب الرموز المميزة والتنبؤ بها واحدًا تلو الآخر.

لقد نظرت شركة Apple أيضًا في نماذج الانتشار المطبقة عليها التنبؤ بطي البروتين و الترميز، وهو أمر مثير للاهتمام إلى ما لا نهاية.

ما يفعله LaDiR، باختصار، هو الجمع بين كلا النهجين: فهو يعتمد الانتشار أثناء عملية الاستدلال، ثم يولد الناتج النهائي بشكل انحداري.

والأكثر من ذلك، فهو يعمل في الواقع مع العديد من مسارات الاستدلال بالتوازي، كل واحد يدير عملية الانتشار الخاصة به، مع آلية تدفعهم لاستكشاف احتمالات مختلفة، وبالتالي إنتاج مجموعة متنوعة من الإجابات المرشحة.

يشرحون أنه خلال وقت الاستدلال، عندما يتوصل النموذج بشكل أساسي إلى ماذا وكيف سيجيب على مطالبة المستخدم، يقوم LaDiR بإنشاء سلسلة من الكتل المنطقية المخفية، يبدأ كل منها كنمط عشوائي (أو ضوضاء) ويتم تنقيحه تدريجيًا إلى خطوة أكثر تماسكًا.

بمجرد أن يحدد النموذج أنه قام بالاستدلال الكافي، فإنه يتحول إلى توليد الإجابة النهائية بشكل انحداري، رمز واحد في كل مرة.

التفاصيل الرئيسية هي أن LaDiR يمكنه تشغيل العديد من مسارات التفكير هذه بالتوازي، مع آلية تشجعه على استكشاف احتمالات مختلفة لتجنب تلتقي جميعها على نفس الفكرة في وقت مبكر جدًا، مما يحبط الغرض من الأمر برمته.

الأهم من ذلك، أن LaDiR ليس نموذجًا جديدًا في حد ذاته، بل هو إطار عمل يعتمد على نماذج اللغة الحالية. إنه يغير طريقة تفكيرهم خلال المشكلة، بدلاً من استبدالها بالكامل.

كيفية أداء LaDiR

في الدراسة، طبق الباحثون LaDiR على Meta’s LLaMA 3.1 8B للاستدلال الرياضي وتخطيط الألغاز، وQwen3-8B-Base لتوليد التعليمات البرمجية.

فيما يتعلق بمعايير الرياضيات، حققت LaDiR دقة أعلى من الأساليب الحالية وأظهرت أداءً أقوى حتى في المهام الأكثر صعوبة وخارج التوزيع.

في معايير إنشاء التعليمات البرمجية مثل HumanEval، أنتجت LaDiR مخرجات أكثر موثوقية، متفوقة على الضبط الدقيق القياسي بهامش ملحوظ، خاصة في المشكلات الأصعب.

وفي مهام التخطيط بأسلوب الألغاز، مثل لعبة العد التنازلي، استكشف LaDiR نطاقًا أوسع من الإجابات الصحيحة مقارنة بأي نموذج أساسي، ووجد الحلول الصحيحة بشكل أكثر موثوقية من جميع الخطوط الأساسية للأغراض العامة. ومع ذلك، فهو لم يرقى إلى مستوى النموذج المتخصص والمحدد للمهمة فيما يتعلق بدقة المحاولة الواحدة.

في حين أن بعض جوانب ورقة LaDiR يمكن أن تصبح تقنية تمامًا، إلا أنها تستحق القراءة إذا كنت مهتمًا بالأعمال الداخلية لنماذج اللغة الكبيرة، والأساليب الجديدة لتحسين الأداء في إنشاء النص.

لقراءة الورقة كاملة، اتبع هذا الرابط.

يستحق التدقيق على الأمازون