عملية مراجعة النظراء صعبة؟ قد ينتهي الأمر بحصولك على عدد كبير من الاستشهادات بورقتك البحثية

لا يشعر العلماء عادةً بسعادة غامرة عندما يطلب مراجعو أوراقهم البحثية إجراء مراجعات شاملة قبل النشر. لكن الضغط الذي يتعرض له المؤلفون قد يؤتي ثماره على المدى الطويل. يكشف تحليل مراجعات النظراء المتاحة للجمهور لآلاف الأوراق البحثية أن الأوراق التي تتلقى مراجعات صارمة يكون لها تأثير أكبر في العلوم من تلك التي تبحر خلال عملية المراجعة.

تم نشر الدراسة على خادم الطباعة المسبقة arXiv الشهر الماضي¹، قام بتقييم مراسلات مراجعة النظراء المرتبطة بمجموعة مختارة من الأوراق المنشورة في اتصالات الطبيعة. المجلة لقد تم نشر هذه الملفات للعامة للأوراق التي تقبلها المجلة منذ عام 2016بشرط موافقة مؤلفي الأوراق. وهو يفعل ذلك من أجل الشفافية ولإثراء مناقشة الأوراق المنشورة في مجتمع البحث، تقول المجلة.

يقول آن تسينج، المؤلف المشارك للنسخة الأولية، والمتخصص في علوم التعقيد بجامعة بكين للمعلمين في الصين، إنه وزملاؤه “يعتقدون أن هذه الملفات يمكن أن تخبرنا كثيرًا عن” التفاوض “بين المراجعين والمؤلفين” لنشر الأوراق البحثية.

لا ألم, لا ربح

لاستخلاص الأفكار من مراسلات المراجعة، طلب الفريق من نموذج اللغة الكبيرة (LLM) تقييم هذه الملفات لـ 8000 ورقة بحثية منشورة، 1000 منها يتم اختيارها عشوائيًا سنويًا من الفترة من 2017 إلى 2024.

أزمة مراجعة النظراء: كيفية إصلاح النظام المثقل

طلب المؤلفون من شهادة الماجستير في القانون – وهي نسخة من برنامج كلود، والتي أنشأتها شركة الذكاء الاصطناعي أنثروبيك، في سان فرانسيسكو، كاليفورنيا – تسجيل تعليقات المراجعين بشأن مدى بنائها، ومدى قوة آرائهم. على سبيل المثال، التعليق الذي يقول إن الاستنتاج الرئيسي للبحث “غير مدعوم بالأدلة” سيحقق درجة عالية من قوة الرأي، كما يقول زينج. لكنه لن يحظى بتقدير كبير باعتباره تعليقًا بنّاءً دون مزيد من الاقتراحات حول كيفية معالجة المؤلفين للمشكلة. قام النموذج أيضًا بتقييم “جودة” التعليقات، والتي كانت بمثابة مقياس لمدى تحديدها وعقلانيتها.

ولتقييم استجابة المؤلفين للمراجعات، قامت LLM بتقييم “تكلفة” المراجعات – والتي تم تعريفها على أنها مقدار العمل الذي قام به المؤلفون لمعالجة التعليقات. قام النموذج أيضًا بقياس ما إذا كان المؤلفون قد قبلوا أو دحضوا انتقادات المراجعين وما إذا كان قد تم حل هذه المشكلات في جولات المراجعة اللاحقة.

من خلال النظر في عدد المرات التي تم الاستشهاد فيها بالبحث في الأدبيات خلال السنوات الثلاث التي تلت نشرها، وجد الباحثون أن الأوراق البحثية التي أثارت انتقادات أقوى من المراجعين، وتتطلب مراجعات أكثر شمولاً، تلقت استشهادات أكثر من الأوراق التي جذبت تعليقات خفيفة وأبحرت عبر عملية مراجعة النظراء. كما ارتبطت جودة تعليقات المراجعين أيضًا بعدد كبير من الاستشهادات، في حين أن مدى التعليقات البناءة لا يبدو أنها تؤثر على استشهادات الورقة البحثية.

يقول زينج إن النتائج “تتفق مع فكرة أن الأعمال الأكثر طموحًا أو ذات أهمية قد تكون محل تساؤلات مكثفة”. ويضيف أنهم قد يشيرون أيضًا إلى أن عملية المراجعة الصعبة تساعد المؤلفين على تحسين أوراقهم البحثية قبل النشر، مما يزيد من احتمالية الحصول على ورقة بحثية عالية التأثير.