أوبن إيه آي تبتكر نموذج لغة خارقًا في الاختراق لتعليم نماذجها الأخرى كيف ترد الضربة
ابتكرت أوبن إيه آي نموذج لغة خارقًا في الاختراق يُدعى جي بي تي-ريد لتدريب نماذجها الأخرى على الدفاع ضد الهجمات الإلكترونية، فمن الأفضل أن يعلم الدفاع سوى مهاجم إلكتروني لا يكل؟
ابتكرت شركة أوبن إيه آي نموذج لغة خارقًا في الاختراق يُدعى جي بي تي-ريد، تستخدمه كشريك تدريبي لمساعدة نماذجها الأخرى على تعزيز دفاعاتها ضد الهجمات الإلكترونية. الأسبوع الماضي، أصدرت الشركة أحدث إصدار من نموذجها الرائد، جي بي تي-5.6. وتقول أوبن إيه آي إن تدريبه ضد جي بي تي-ريد جعله أكثر إصداراتها متانة حتى الآن.
جي بي تي-ريد يؤتمت نوعًا من تقييم الأمان للأنظمة البرمجية يُعرف باسم الاختراق الأحمر، والذي يُجرى عادةً بواسطة فريق من المختبرين البشريين. الهدف هو إيجاد أكبر عدد ممكن من الطرق المختلفة لاختراق النظام أو اختطافه. ثم يمكن إصلاح نقاط الضعف قبل إطلاق النسخة النهائية من البرنامج.
مع ازدياد تعقيد نماذج اللغة الكبيرة واستخدامها في مجموعة واسعة من المهام - خاصة في شكل وكلاء يمكنهم التفاعل مع ملفات الكمبيوتر والمواقع الإلكترونية والكود الخارجي بالإضافة إلى وكلاء آخرين - يصعب على فرق من البشر وحدهم مواكبة جميع أنواع الهجمات التي قد تحدث. يقول نيكيل كاندبال، عالم أبحاث في أوبن إيه آي وأحد المشاركين في ابتكار جي بي تي-ريد: "سطح المخاطر ينمو ونطاق الانفجار ينمو أيضًا".
بنَت أوبن إيه آي جي بي تي-ريد لتحصين عملية اختبار الأمان لديها في المستقبل. يقول ديلان هان، عالم أبحاث في الشركة ومشارك آخر في ابتكار جي بي تي-ريد: "مع توفر نماذج أكثر قدرة، سنكون قد صممنا بالفعل النظام الذي يمكنه اكتشاف أنماط هجوم جديدة". ويقول الباحثون إنه ابتكر بالفعل أنواعًا جديدة من الهجمات لم تُرَ من قبل.
ركزت أوبن إيه آي معظم جهودها على نوع من الهجمات يُعرف باسم حقن التعليمات، حيث يقوم المخترق بإدخال تعليمات إلى نموذج اللغة ليجعله يفعل أشياء لا يريدها مطوروه أو مستخدموه، مثل نسخ معلومات سرية، أو تخريب قاعدة كود الشركة، أو إنتاج مخرجات محرجة أو ضارة. نظريًا، يمكن إخفاء هذه التعليمات في أي نص قد يصادفه النموذج - في كود أو على موقع إلكتروني، على سبيل المثال.
لبناء جي بي تي-ريد، أخذ باحثو أوبن إيه آي نموذج لغة لم يُدرب كمخترق ووضعوه في ما يُعرف بحلقة اللعب الذاتي مع عدة نماذج أخرى. كان هدفه محاولة مهاجمة النماذج الأخرى؛ وكان هدفها محاولة الدفاع عن نفسها. عبر جولات عديدة من اللعب، أصبح جي بي تي-ريد أفضل وأفضل في مهاجمة نماذج اللغة الأخرى، وأصبحت تلك النماذج أفضل وأفضل في صد الهجمات.
تم التدريب في نوع من الدوجو صممته أوبن إيه آي لمحاكاة مجموعة من السيناريوهات التي قد تُنشر فيها نماذج اللغة في العالم الحقيقي، بما في ذلك تصفح الويب، وقراءة البريد الإلكتروني أو تطبيقات التقويم، وتحرير الكود.
عندما يجد جي بي تي-ريد نوعًا جديدًا من الهجمات، يستكشف عدة نسخ مختلفة منه ليجد الأكثر فعالية لسيناريوهات محددة. يقول هان: "مقارنةً بمخترق أحمر بشري، النموذج جيد جدًا جدًا في إيجاد ما سينجح بالضبط، وما هو الأكثر فعالية بالضبط. إنه مثابر للغاية في التعمق في هجوم اكتشفه".
على وجه الخصوص، تدعي أوبن إيه آي أن جي بي تي-ريد وجد نوعًا من هجوم حقن التعليمات لم يره الباحثون من قبل، يسمونه سلسلة التفكير المزيفة. سلسلة التفكير هي نوع من اليوميات يدون فيها النموذج ملاحظات لنفسه ويتتبع النتائج الجزئية أثناء معالجته للمشكلات. وجد جي بي تي-ريد طريقة لإدخال إدخال مزيف في سلسلة تفكير نموذج آخر يخدع ذلك النموذج ليتصرف بناءً على معلومات مزيفة.
يقول كريس تشوكيت-تشو، عالم أبحاث آخر في الفريق: "الأمر يشبه لو أخبرتك أن 1+1=3 وأنك قد تحققت من ذلك بالفعل. النموذج يقول: 'أوه، حسنًا، بالطبع'، ويخرج 3".
تعتقد جيسيكا جي، محللة أبحاث أولى تعمل على أمن الذكاء الاصطناعي في مركز الأمن والتكنولوجيا الناشئة بجامعة جورج تاون، أن حلقة اللعب الذاتي التي استخدمتها أوبن إيه آي هي نهج جيد. تقول: "النتائج تبدو واعدة جدًا".
اختبرت أوبن إيه آي مدى جودة جي بي تي-ريد كمهاجم من خلال إعادة تجربة من عام 2025 حيث حاول مخترقون أحمر بشريون إيجاد نقاط ضعف في نسخة سابقة من جي بي تي-5. عندما جي بي تي-ريد
The Good Times
الأخبار في صندوق بريدك.
ملخص ساخر يُسلَّم وفق جدولك. مجاناً. ألغِ الاشتراك متى شئت.
مشترك بالفعل لكننا لا نصل إلى بريدك أبداً؟ تفقّد مجلد الرسائل غير المرغوب فيها واضغط على 'ليست مزعجة' (أو 'إزالة من المزعج') لتخرجنا من مطهر البريد المزعج. وبهذا تساعد الجميع أيضاً.
إذا لم تفتح أياً من رسائلنا لمدة شهر، فستتم إزالتك تلقائياً من قائمة البريد.
Rewrite Article
Select parts to regenerate with a fresh AI pass. Translations will be updated automatically.
Generate AI Image
Creates a sardonic version of the article image using OpenAI.