إن الأسطورة العسكرية حول “الإنسان المطلع” على الذكاء الاصطناعي مضللة بشكل خطير

في الآونة الأخيرة كان ذكرت أن أمازون عقدت “بحثًا عميقًا” داخليًا بعد سلسلة من الانقطاعات التي عطلت موقع البيع بالتجزئة الخاص بها، والذي يرجع على ما يبدو إلى أدوات البرمجة المدعومة بالذكاء الاصطناعي. جاء الاجتماع في أعقاب العديد من الإخفاقات الواضحة للغاية والاعتراف المتزايد داخل الشركة بأن الضمانات المتعلقة بالذكاء الاصطناعي التوليدي في أنظمة الإنتاج غير كافية.

إنها لمحة مبكرة عن مشكلة أوسع نطاقاً تفضل العديد من المنظمات عدم الاعتراف بها: مع اندفاع الذكاء الاصطناعي إلى الأنظمة الحيوية، فهو يقدم أوضاع فشل جديدة بشكل أسرع مما يمكنهم فهمها أو التحكم فيها.

بالنسبة لمنظمات الدفاع التي تعمل على دمج الذكاء الاصطناعي بشكل متزايد في الأنظمة ذات المهام الحرجة، فإن الآثار المترتبة على ذلك تكون أكثر أهمية بكثير.

عندما تتوقف المؤسسات للتفكير في هذه المخاطر على الإطلاق، فإنها غالبًا ما تصل إلى طمأنة مألوفة: سيكون هناك “إنسان في الحلقة”. والفكرة هي أنه حتى لو كان النظام معقدًا أو غير موثوق به، فإن الشخص سوف يكتشف الأخطاء قبل أن تصبح ذات أهمية.

متعلق ب

وهذا الطمأنينة مضلل بشكل خطير. إن “الإنسان في الحلقة” الذي تتمثل وظيفته الوحيدة في الموافقة على تصرفات الآلة ليس بمثابة ضمانة بل فشل في التصميم. يتضاءل الاهتمام لأنه لا يمكن لأحد التركيز على وظيفة لا تؤدي في الغالب إلى أي شيء، وبمرور الوقت تضمر مهارات المشغل إلى درجة أنه لا يستطيع الإشراف على النظام بشكل هادف. وما بقي هو المظهر الظاهري وليس الواقع.

وفي السياقات العسكرية، فإن هذا النوع من التدخل البشري المنحط ليس فقط غير فعال ولكنه خطير من الناحية العملياتية.

وهذا النمط ليس جديدا. لقد شاهدها المهندسون من قبل، وأشهرها في جهاز Therac-25، وهو جهاز للعلاج الإشعاعي تم تقديمه في عام 1982. وقد جمع هذا الجهاز بين وظائف النظامين السابقين في حزمة أصغر وأكثر ملاءمة، كما أن التشغيل الآلي المحسن له جعله أسرع وأسهل في التشغيل. وكانت السلامة “مضمونة” من خلال وجود عامل بشري كان عليه تأكيد الإجراءات – في الواقع، “إنسان في الحلقة”.

فشل النظام على أي حال. بدأ المرضى يصابون بحروق إشعاعية شديدة. استبعدت المستشفيات احتمال حدوث خطأ في الآلة، وأصرت الشركة المصنعة على أن تناول جرعات زائدة أمر مستحيل. فقط بعد إجراء تحقيق متواصل، تم اكتشاف أن الجهاز يحتوي على عيوب برمجية متعددة تتعلق بالسلامة. بحلول ذلك الوقت، وقعت ستة حوادث جرعات زائدة، ثلاثة منها مميتة.

المشكلة الأعمق لم تكن مجرد كود خاطئ، بل تصميم خاطئ. كثيرًا ما تتوقف الآلة بسبب ظهور رسائل خطأ غير موضحة بشكل جيد، مما يتطلب من المشغلين “الضغط على P للمتابعة” لمواصلة العلاج. ونظرًا لأن هذه الأخطاء كانت شائعة ونادرًا ما تكون ذات معنى، فقد اعتاد المشغلون على إعادة تشغيل النظام عشرات أو مئات المرات يوميًا. عندما حدثت أعطال حقيقية، كان فعل “تأكيد المشغل” قد فقد معناه بالفعل. وفي إحدى الحالات، أعاد أحد المشغلين تشغيل الجهاز عدة مرات، مما أدى إلى جرعات زائدة متكررة دون علمه. وجود عامل بشري لم يمنع الفشل؛ لقد قامت بتطبيعه.

واليوم نكرر هذا الخطأ. يسارع علماء الكمبيوتر إلى دمج أنظمة الذكاء الاصطناعي غير المفهومة في البيئات الحرجة المتعلقة بالسلامة، وعندما تثار المخاوف غالبا ما يتم التلويح بها بنفس العبارة: سيكون هناك إنسان في الحلقة. ويظهر هذا الافتراض الآن في المناقشات المتعلقة بأنظمة الدفاع، بدءًا من دعم القرار وحتى العمليات المستقلة.

سوف يجادل الناس بأن الذكاء الاصطناعي مختلف جوهريًا، وهم على حق من ناحية ما. لم يسبق لنا مطلقًا نشر أنظمة يكون سلوكها احتماليًا وغير حتمي بشكل واضح في البيئات عالية المخاطر. وفي السياقات الدفاعية، حيث تتفاقم حالة عدم اليقين بسرعة ويمكن أن تتكرر الأخطاء عبر الأنظمة، يعد هذا أمرًا مثيرًا للقلق بشكل خاص. لكن الذكاء الاصطناعي لا يختلف أيضًا في الطرق الأكثر أهمية. فهي لا تزال برمجيات مدمجة في أنظمة أكبر تتكون من أشخاص وعمليات وآلات. ولا يمكنها التصرف في العالم الحقيقي بدون هذا النظام المحيط، وتفشل تلك الأنظمة بطرق مفهومة جيدًا بالفعل. لقد أمضى المهندسون والمشغلون عقودًا من الزمن في دراسة كيفية تصرف الأنظمة المعقدة والمترابطة بإحكام تحت الضغط.

إن ما نشهده الآن ليس فئة جديدة من الفشل، بل فئة مألوفة ومتسارعة. تُظهِر صناعة البرمجيات مرة أخرى عدم قدرتها على التعلم من تاريخها. سيكون ذلك أمرًا مؤسفًا إذا كنا نتحدث فقط عن خوارزميات توصيات Spotify. يصبح الأمر خطيرًا عندما يتم إدخال هذه الأنماط نفسها في الأنظمة التي تعتمد عليها المنظمات والدول.

وتشير تسريبات البنتاغون الأخيرة إلى أن أنظمة الذكاء الاصطناعي ربما تكون مؤثرة بالفعل حيث تهبط القنابل. وفي مثل هذه البيئات، يكون الوهم بوجود رقابة بشرية أسوأ من عدم وجود رقابة على الإطلاق. يخلق الثقة دون سيطرة.

وإذا أمضينا العقد المقبل في إخفاء الأنظمة غير الآمنة خلف ورقة التوت المتمثلة في “الإنسان في الحلقة”، فإن العواقب لن تكون نظرية.

كان ميكي ديكرسون المدير المؤسس للخدمة الرقمية الأمريكية وهو مهندس الأزمات في Layer Aleph. وهو مؤلف مشارك للكتاب القادم هندسة الأزمات.