تقوم تحليلات مستودعات الأبحاث بتقدير معدلات الاستشهادات المهلوسة في الأوراق البحثية.الائتمان: باتبيتشايا / آي ستوك عبر جيتي
مشكلة نماذج الذكاء الاصطناعي “الهلوسة” هي الاستشهادات غير الموجودة برز مؤخرًا. الآن قام فريق من الباحثين بفحص 2.5 مليون ورقة بحثية ومطبوعات أولية لتقديم أفضل تقييم لانتشارها حتى الآن.
شمل تدقيقهم 111 مليون مرجع في الأبحاث والمطبوعات الأولية المدرجة في المستودعات الرئيسية بما في ذلك arXiv، وbioRxiv، وشبكة أبحاث العلوم الاجتماعية (SSRN)، وخوادم PubMed Central، ووجدوا أن هناك 146,932 استشهادًا مهلوسًا في المواد المنشورة في عام 2025 وحده.
يشير التحليل أيضًا إلى أن انتشار الاستشهادات المهلوسة يعتمد على مجال البحث. كان لدى SSRN، وهو خادم ما قبل الطباعة لأبحاث العلوم الاجتماعية، أعلى معدل للاستشهادات المهلوسة بنسبة 2٪ تقريبًا، أي ما يقرب من خمس مرات أعلى من أي مستودع رئيسي آخر.
يقول إيان يين، الأستاذ المساعد لعلم المعلومات في جامعة كورنيل في إيثاكا بولاية نيويورك، والمؤلف المشارك في الدراسة: “لقد اندهشنا حقًا من الحجم الإجمالي وديناميكيات مجموعة الاستشهادات المهلوسة بأكملها”.
تم نشر التحليل على خادم الطباعة المسبقة arXiv1 ولم يتم مراجعة النظراء.
الهلوسة الببليوغرافية
طُلب من يين وزملائه التحقيق في حجم المشكلة بعد اكتشاف بعض الإشارات إلى عمل غير مألوف، يُفترض أنه من تأليف باحثين يعرفونهم. يقول يين: “أعرف هؤلاء المؤلفين، وأنا متأكد بنسبة 90% من عدم وجود ورقة بحثية حول ذلك”.
ولقياس حجم المشكلة، استخرج الباحثون عناوين مرجعية من ملايين المخطوطات وقارنوها مع Semantic Scholar وOpenAlex وGoogle Scholar. تم وضع علامة على المراجع التي لا يمكن مطابقتها، والتي تم الحكم على LLM بأنها مصادر أكاديمية، على أنها غير مطابقة. نظرًا لأن الأخطاء الببليوغرافية كانت موجودة دائمًا، فقد أحصى الباحثون فقط المراجع الخاطئة التي تظهر في المواد المنشورة بعد عام 2022، وهو العام الذي تم فيه إطلاق ChatGPT، أول ماجستير في إدارة الأعمال متاح للعامة.
الاستشهادات المهلوسة تلوث الأدبيات العلمية. ما الذي يمكن عمله؟
وجد التحليل أن معدلات الاستشهادات المهلوسة تتباين بين المستودعات المختلفة. احتلت SSRN المرتبة الأولى بنسبة 1.91% من الاستشهادات في الدراسات المنشورة هناك بحلول أغسطس 2025 والتي اعتبرت هلوسة. واحتل موقع ArXiv، وهو مستودع للعلوم الفيزيائية، المرتبة الثانية، بنسبة 0.39% من استشهاداته غير صحيحة أو تشير إلى أوراق بحثية أو باحثين غير موجودين.
تحتوي قاعدة بيانات العلوم الطبية الحيوية في PubMed Central على معدل 0.27% من الاستشهادات المهلوسة في المنشورات الخاضعة لمراجعة النظراء. حصل BioRxiv، وهو خادم ما قبل الطباعة متخصص في العلوم البيولوجية، على معدل 0.21%.
تعد الاستشهادات المهلوسة أكثر انتشارًا في الأعمال التي ألفها باحثون لديهم تاريخ منشور قليل قبل عام 2022. ووجدت الدراسة أنه عندما تحدث استشهادات مزيفة، فإنها تنسب الفضل بشكل غير متناسب إلى المؤلفين المعروفين بالفعل، والذين يتم الاستشهاد بهم بشكل كبير، وغالبًا ما يكونون من الذكور.
