حذرت شركة Anthropic المستثمرين المحتملين من أن الذكاء الاصطناعي المتقدم يمكن أن يشكل “مخاطر كارثية أو وجودية للإنسانية”، بينما ذكرت أنها خسرت 8 مليارات دولار في العام الماضي.
ويظهر التحذير في نشرة الاكتتاب العام التي اطلعت عليها رويترز.
وهو يضع العواقب المحتملة لتكنولوجيا أنثروبيك ضمن المخاطر التي تواجه المستثمرين في الشركة التي تقف وراء نماذج كلود.
المخاطر في الايداع
وقالت أنثروبيك إن النماذج ذات القدرة المتزايدة يمكن أن تتصرف بطرق يصعب التنبؤ بها أو السيطرة عليها.
ويصف ملفه “سلوكيات الحفاظ على الذات” المحتملة، بما في ذلك محاولات مقاومة إيقاف التشغيل، وإخفاء المعلومات أو التلاعب بها، والتصرف بطرق تشبه الابتزاز.
هذه عبارة عن إفصاحات عن المخاطر، وليست ادعاءً بحدوث مثل هذا السلوك في منتج إنساني تم نشره.
وقالت الشركة إن الاستخدام الأوسع لنماذجها وتطبيقاتها يمكن أن يزيد من احتمالات الضرر.
وتثير النشرة أيضًا مشكلة تتعلق باختبارات السلامة: فقد يتعرف النموذج على أنه قيد التقييم ويغير سلوكه.
وقالت أنثروبيك إن قدرات غير متوقعة يمكن أن تظهر أثناء التدريب وقد لا يتم اكتشافها إلا بعد النشر.
تشغل عوامل الخطر حوالي 80 صفحة من النص الرئيسي للنشرة المكون من 261 صفحة، مقارنة بـ 48 صفحة مخصصة للأعمال.
يقدم الملف الذكاء الاصطناعي كتقنية ذات آثار وعواقب اقتصادية محتملة قد لا رجعة فيها إذا تم التعامل معها بشكل خاطئ.
تكلفة السلامة
وقالت أنثروبيك إن أعمال السلامة تتطلب موارد كبيرة، لكنها أقرت بأن العائد على هذا الاستثمار غير مؤكد.
ولم يحدد التسجيل المبلغ الذي تنفقه الشركة على أبحاث السلامة.
في وقت سابق من هذا الشهر، قالت شركة Anthropic إن أعمال السلامة تمثل حوالي 6% من قوة الحوسبة المستخدمة في أبحاث الذكاء الاصطناعي خلال أسبوع العينة في يوليو.
وفقًا للملف، يجب عليها تخصيص الموارد بين هذا العمل، والقدرة الحاسوبية، والموظفين الفنيين المكلفين.
كما وصفت الشركة الضغوط التجارية لمواصلة إطلاق نماذج جديدة.
وقالت إن استخدام العملاء والإيرادات يعتمدان على الأنظمة المحسنة، مما يجعل سلسلة مستمرة من الإصدارات ضرورية للتنافس على حدود تطوير الذكاء الاصطناعي.
في الأسبوع الماضي، أصدرت شركة Anthropic نسخة جديدة من نموذج Opus الخاص بها، بعد 10 أيام من نشر الرئيس التنفيذي داريو أمودي مقالا يدعو إلى وتيرة محسوبة في تطوير الأنظمة الأكثر تقدما.
تعهدت شركة Anthropic مؤخرًا بالكشف عن المزيد حول كيفية استخدامها للذكاء الاصطناعي للمساعدة في بناء أجيال لاحقة من النماذج.
ويأتي هذا الالتزام وسط مخاوف بين الباحثين من أن الأنظمة يمكن أن تصبح قادرة على تحسين نفسها مع تناقص المشاركة البشرية.
وتترك نشرة الإصدار المستثمرين يزنون التزامات السلامة هذه مقابل تكلفة متابعتها، والضغط من أجل تطوير منتجاتها، والخسارة المبلغ عنها البالغة 8 مليارات دولار.
