الذكاء الاصطناعي ليس جاهزًا للبحث عن نفسه

لقد حقق الذكاء الاصطناعي قفزات كبيرة في أبحاث الذكاء الاصطناعي نفسه، حيث وجد طرقًا لجعل الخوارزميات الحالية أكثر ذكاءً، أو كتابة خوارزميات جديدة. لكن أجهزة الكمبيوتر ليست جاهزة بعد لاستبدال صانعيها، وفقًا لدراسة نشرت على خادم ما قبل الطباعة arXiv¹ في أواخر يوليو.

يقول ساياش كابور، عالِم الكمبيوتر بجامعة برينستون في نيوجيرسي، والمؤلف المشارك للنسخة الأولية: “لا أعتقد أن الأتمتة الكاملة للأبحاث المفتوحة تلوح في الأفق في الوقت الحالي”.

إن الجهود المبذولة لأتمتة العملية العلمية بشكل كامل، بدءًا من توليد الأفكار وحتى كتابة الأبحاث وتقييمها ذاتيًا، كانت رائدة من قبل فريق معظمه من شركة Sakana AI في طوكيو. الفريق كشفت نظامهم، المسمى The AI ​​Scientist، في عام 2024 وما بعده النتائج المنشورة من نسخة محسنة في مارس طبيعة².

تم تكليف عالم الذكاء الاصطناعي بدراسة المخاطر في التعلم الآلي. تم تقديم ثلاث من الأوراق البحثية التي أنتجتها لمراجعة النظراء في ورشة عمل المؤتمر، وحصلت واحدة على درجة عالية بما يكفي للقبول. ولكن، وفقًا لكابور، فإن مراجعة النظراء هي طريقة غير موثوقة لتقييم جودة الورقة البحثية، خاصة في أبحاث الذكاء الاصطناعي.

وبشكل أكثر عمومية، تساءل بعض الباحثين عما إذا كانت أتمتة أبحاث الذكاء الاصطناعي بدءًا من إنشاء الفكرة وحتى النشر يمكن أن تؤدي إلى اختراقات حقيقية حتى الآن، مما يشير إلى أنها أفضل في تحسين التقنيات الحالية.

ولجعل الذكاء الاصطناعي في مستوى أعلى من مراجعة النظراء، أنشأ كابور وزملاؤه تحديًا جديدًا، يسمى تقييم الظل. أولاً، اختاروا ورقتين بحثيتين تم تقديمهما إلى مؤتمر أنظمة معالجة المعلومات العصبية لهذا العام. ثم طلبوا من أداة الذكاء الاصطناعي إجراء بحث وكتابة أوراق بحثية بناءً على سؤال بحثي من كل ورقة، وطلبوا من المؤلفين الأصليين التدقيق في مخرجاتها. كانت الفكرة هي أن هؤلاء المؤلفين سيكون لديهم المزيد من الخبرة والتفاني في البحث في المخرجات أكثر مما قد يتمتع به المراجع النظير المجتهد.

قام الفريق ببناء نظام الذكاء الاصطناعي الخاص به من خلال “تسخير” نموذج اللغة الكبير Claude Opus 4.8 في نسخة معدلة من النظام الوكيل OpenClaw، ثم قام بتغليف ذلك في “سقالة” أوسع تحتوي على تعليمات عامة وطرق للتحقق من التقدم. أعطى هذا الحزام للنموذج مجموعة من الأدوات، بما في ذلك القدرة على إنشاء وكلاء فرعيين والوصول إلى الإنترنت ومكتبات البرامج ومعالجات الكمبيوتر لإجراء التجارب والبرامج التي تحاكي مراجعة النظراء. لكل ورقة بحثية، كان لدى نظام الذكاء الاصطناعي ستة أيام و3000 دولار أمريكي من الاعتمادات الحاسوبية. باتباع الاتجاه البحثي العام للورقة الأولى، طلب فريق كابور من النظام تصميم طريقة للتحكم الدقيق في شخصية روبوت الدردشة. وبعكس الورقة الثانية، كان عليها تصميم كاشف فشل لنوع معين من الشبكات العصبية.

وقد تفاجأ المؤلفون بنجاح النظام في العمل الهندسي لأبحاثه. ويمكنه إجراء مئات التجارب على مدى عدة أيام، دون الوقوع في حلقة من الأخطاء التي لا يمكن حلها. وأجرت مراجعات قوية للأدبيات وتوصلت إلى بعض النتائج البسيطة. لقد اكتشف أيضًا ادعاءاته الكاذبة (التي تسمى أحيانًا الهلوسة) ولم يحاول قطع الزوايا (أو ‘اختراق المكافأة’)، على الرغم من توقعات المؤلفين.

علامات سيئة

لكن نظام الذكاء الاصطناعي فشل في الغالب في المهمتين الموكلتين إليه، وحصل على درجات إجمالية قدرها 2/6 و1/6 من مؤلفي الأوراق البحثية الأصلية. وكانت الطريقة النموذجية التي قد تفشل بها هي اختيار بعض الفرضيات لاستكشافها، ولكن الاستقرار في وقت مبكر جدًا على إحداها وعدم التراجع بما فيه الكفاية عندما لا يكون نهجها ناجحًا. ولم تكن المراجعة الذاتية اللاحقة سلبية بما فيه الكفاية، لذلك أصر النظام على خياراته الأولية، وقلص من ادعاءاته حتى لم يبد سوى القليل من الاهتمام.