ومع اعتماد البنتاغون بشكل متزايد على الذكاء الاصطناعي، فقد نشأ سؤال: كيف يمكن للمرء التأكد من أن نماذج الذكاء الاصطناعي تعمل بالطريقة التي ينبغي لها أن تعمل بها؟

أفضل طريقة هي اختبار الذكاء الاصطناعي الجديد قبل أن يحصل عليه المستخدمون. لذا، تسعى وزارة الدفاع – جنبًا إلى جنب مع مكتب مدير الاستخبارات الوطنية – إلى إيجاد نظام يمكنه اختبار ما إذا كانت نماذج الذكاء الاصطناعي تلبي معايير محددة.

“مع تطور قدرات الذكاء الاصطناعي (AI) بوتيرة غير عادية، تحتاج الحكومة إلى بنية تحتية للتقييم يمكنها مواكبة ذلك من خلال التقييم المستمر للنماذج الجديدة مقابل المعايير الخاصة بالمهمة عند إصدارها”، وفقًا لمجال الاهتمام. إعلان من وحدة الابتكار الدفاعي.

تريد وزارة الدفاع أيضًا التأكد من أن الذكاء الاصطناعي والبشر يعملون معًا بشكل جيد. وجاء في الإعلان: “يجب أن يقتصر التقييم على تقييم ما إذا كانت أنظمة الذكاء الاصطناعي قادرة على أداء المهام بمعزل عن غيرها، ولكن ما إذا كانت فرق الذكاء الاصطناعي البشرية تحقق نتائج مهمة أفضل من البشر أو الذكاء الاصطناعي وحده”.

تتصور DIU “أداة مساعدة” ذات بنية قياسية قابلة للتوصيل يمكنها اختبار أي ذكاء اصطناعي – تم تطويره بواسطة أي مقاول – وتقديم تقييم متسق ومنظم. يتضمن ذلك دراسة سير العمل عبر بيئات مختلفة، والتدقيق الآمن لوكلاء الذكاء الاصطناعي والسماح للخبراء البشريين بتقييم “عبء العمل البشري، وسهولة الاستخدام، وأداء المهام عبر سيناريوهات فريق الإنسان فقط، والذكاء الاصطناعي فقط، والذكاء الاصطناعي البشري”.

يجب أن يختبر الحزام أيضًا ما إذا كان الذكاء الاصطناعي يمكنه العمل وسط ظروف فوضوية منخفضة المعلومات. وقالت DIU إن النظام يجب أن يحاكي “الضغط التشغيلي وتدهور الشبكة في بيئة خاضعة للرقابة وقابلة للتكرار”.

سيتم أيضًا تقييم ما إذا كان الذكاء الاصطناعي للعدو يمكنه اختطاف نماذج الذكاء الاصطناعي الصديقة أو إرباكها. يجب أن يدعم النظام “الفريق الأحمر الآلي، بما في ذلك تنفيذ المطالبات العدائية وأنماط الهجوم”.

سيتم تقييم الذكاء الاصطناعي وفقًا لمجموعة متنوعة من المعايير. وهي تشمل “تحديد القدرات المهمة لسياق مهمة معينة” وتقسيم قدرات الذكاء الاصطناعي المعقدة إلى مهام أصغر وقابلة للقياس. ويجب أن تكون النتائج واضحة، بما في ذلك تحديد ما يشكل درجة جيدة للذكاء الاصطناعي، ويتم تقديمها بتنسيق “يسهل فهمه ويمكن لصناع القرار التصرف بناءً عليه”.

كانت DIU أيضًا حريصة على ملاحظة أن نظام التقييم يجب أن يكون عادلاً، مع “عدم وجود ميزة نظامية لبنيات أو بائعين معينين”.

الموعد النهائي هو 24 مارس.