أنثروبيك تكتشف أن نماذج كلود كانت تخترق شركات حقيقية، لأن هذا هو المتوقع

أدركت شركة أنثروبيك للتو أن العديد من نماذج كلود الذكية اخترقت أنظمة ثلاث منظمات مختلفة أثناء الاختبار - حيث تصرفت من تلقاء نفسها دون أن تلاحظ الشركة ذلك. يأتي هذا الكشف بعد أيام من قول شركة OpenAI المنافسة إن أحد نماذجها اخترق منصة Hugging Face للمطورين، مما يزيد من القلق المتزايد بشأن ما إذا كانت مختبرات الذكاء الاصطناعي الرائدة تبذل ما يكفي للسيطرة على الأنظمة القوية التي تطورها.

في منشور مدونة يصف الحوادث، قالت أنثروبيك إن كلود حصل على وصول غير مصرح به إلى الأنظمة أثناء تقييمات الأمن السيبراني. حدثت جميع الهجمات خلال تمارين "التقاط العلم"، وهي طريقة شائعة لاختبار القدرة على الاختراق، حيث يُطلب من النماذج العثور على معلومات مخفية والحصول عليها داخل شبكة محاكاة.

يضيف هذا الكشف ضغوطًا متزايدة على مختبرات الذكاء الاصطناعي الرائدة في أعقاب حادثة Hugging Face وإصدار نماذج صينية قوية مفتوحة الوزن. يدعو الموظفون في المختبرات الكبرى الآن إلى حوكمة عالمية منسقة، ويبدأ المشرعون الأمريكيون في النظر في فرض رقابة أكثر صرامة على النماذج القوية ومن يمكنه الوصول إليها.

تقول أنثروبيك إن بيئة اختبارات الأمن السيبراني الخاصة بها كان من المفترض أن تكون معزولة. ومع ذلك، فإن "خطأ في التكوين" ترك الأجهزة التي وصلت إليها كلود "مع وصول مباشر إلى الإنترنت"، كما قالت الشركة، ولأن جميع النماذج "قيل لها صراحةً" إنها لا تملك وصولاً إلى الإنترنت، فإنها "افترضت" أن الشبكات الحقيقية التي واجهتها كانت جزءًا من البيئة المحاكاة.

تعود أقدم الحوادث إلى أبريل وتضمنت ثلاثة نماذج مختلفة من كلود: Opus 4.7 وMythos 5 و"نموذج اختبار بحثي داخلي"، وفقًا لمنشور المدونة. وبينما كانت النماذج تُختبر على قدراتها السيبرانية، قالت أنثروبيك إنها تفتقر إلى الضمانات القياسية التي تُوضع عادةً للحد من السلوك الأكثر خطورة.

قالت الشركة إنها اكتشفت الحوادث بعد مراجعة أكثر من 141000 عملية اختبار للأمن السيبراني - وهو ما فعلته فقط بعد أن كشفت OpenAI أن وكيلها الذكي المارق كان وراء الهجوم على Hugging Face.

تصرفت النماذج الثلاثة بشكل مختلف تمامًا عندما واجهت معلومات تشير إلى أن الأنظمة التي كانت تواجهها كانت حقيقية بالفعل. وفقًا لرواية أنثروبيك، أدرك النموذج الأقدم، Opus 4.7، أنه وصل إلى نظام حقيقي، "لكنه واصل هجومه". أما نموذجها الرئيسي Mythos 5 فقد اكتشف أنه يستخدم الإنترنت لكنه بطريقة ما استنتج أن هذا لا يزال جزءًا من المحاكاة، فاستمر. أما نموذج الاختبار الداخلي، الذي تصفه أنثروبيك بأنه "أحدث نموذج لدينا"، فقد أوقف التمرين عندما ظهرت أدلة على أن أهدافه حقيقية.

لم تحدد أنثروبيك المنظمات المتضررة وقالت إنها ستواصل التحقيق في الحادث وتقديم تحديثات عندما تستطيع. وقالت الشركة إنها تتحدث أيضًا مع منظمة METR غير الربحية للأبحاث حول إجراء مراجعة خارجية لما حدث. كما استعانت OpenAI بمنظمة METR لإجراء مراجعة مستقلة.

طوال المنشور، تقارن أنثروبيك مرارًا وتكرارًا بين طبيعة الحوادث ومعالجتها مع حوادث OpenAI، وتنهي المنشور بقائمة من أربع نقاط توضح الاختلافات - ولماذا تعتقد أن استجابتها كانت أفضل. تؤكد أنثروبيك أنها "بشكل استباقي" راجعت اختباراتها، وفعلت ذلك قبل أن تكتشف أي شركة أي نشاط. وقالت أيضًا إن نماذجها وصلت إلى الإنترنت "عبر مسار مفتوح"، بدلاً من استخدام استغلال جديد مثل وكيل OpenAI، مضيفة أن أحدث نموذج لها توقف أيضًا عندما أدرك أنه يعمل في بيئة حقيقية.

قالت أنثروبيك أيضًا إن نماذجها فشلت بطريقة مختلفة عن وكيل OpenAI، مما يشير إلى أن هذا شكل أكثر أمانًا من الفشل. وقالت الشركة: "بينما لا يوجد تمييز حاد تمامًا بين الاثنين، نعتقد أن هذه الحوادث أقرب إلى فشل في الأدوات والتشغيل منها إلى فشل في مواءمة النموذج". وبعبارة بسيطة: كانت نماذج كلود تفعل ما قيل لها، بينما سعى وكيل OpenAI إلى هدفه بطريقة لم يقصدها منشئوه، وهو ما يوصف بأنه اختلال في المواءمة في عالم سلامة الذكاء الاصطناعي.

ودعت أنثروبيك الآخرين إلى