OpenAI ने GPT-Red नामक एक LLM सुपर-हैकर बनाया है जिसका उपयोग वह अपने अन्य मॉडलों को साइबर हमलों से बचाव के लिए प्रशिक्षित करने में करता है - क्योंकि एक अथक डिजिटल हमलावर से बेहतर रक्षा कौन सिखा सकता है? पिछले सप्ताह कंपनी ने अपने प्रमुख LLM, GPT-5.6 का नवीनतम संस्करण जारी किया। OpenAI का कहना है कि GPT-Red के खिलाफ प्रशिक्षण ने इस मॉडल को अब तक का सबसे मजबूत रिलीज़ बना दिया है।
GPT-Red सॉफ्टवेयर सिस्टम के लिए एक प्रकार के सुरक्षा मूल्यांकन को स्वचालित करता है जिसे रेड-टीमिंग कहा जाता है, जो आमतौर पर मानव परीक्षकों की एक टीम द्वारा किया जाता है। इसका उद्देश्य किसी सिस्टम को तोड़ने या हाईजैक करने के जितने संभव हो उतने अलग-अलग तरीके खोजना है। कमजोर स्थानों को फिर सॉफ्टवेयर के अंतिम संस्करण के जारी होने से पहले पैच किया जा सकता है।
जैसे-जैसे LLM अधिक जटिल होते जा रहे हैं और विभिन्न प्रकार के कार्यों में उपयोग किए जा रहे हैं - विशेष रूप से एजेंटों के रूप में, जो कंप्यूटर फ़ाइलों, वेबसाइटों, तीसरे पक्ष के कोड और अन्य एजेंटों के साथ बातचीत कर सकते हैं - लोगों की टीमों के लिए अकेले सभी प्रकार के हमलों से निपटना मुश्किल है। "जोखिम की सतह बढ़ती है और विस्फोट त्रिज्या भी बढ़ती है," OpenAI के शोध वैज्ञानिक और GPT-Red के सह-निर्माता निखिल कंडपाल कहते हैं।
OpenAI ने अपनी सुरक्षा परीक्षण प्रक्रिया को भविष्य-प्रूफ बनाने के लिए GPT-Red बनाया। "जैसे-जैसे अधिक सक्षम मॉडल उपलब्ध होंगे, हम पहले से ही एक ऐसी प्रणाली डिज़ाइन कर चुके होंगे जो हमले के नए तरीकों की खोज कर सके," कंपनी के शोध वैज्ञानिक और GPT-Red के सह-निर्माता डायलन हुन कहते हैं। शोधकर्ताओं का कहना है कि यह पहले से ही नए प्रकार के हमलों के साथ आ चुका है जो पहले नहीं देखे गए थे।
OpenAI ने अपने अधिकांश प्रयास एक प्रकार के हमले पर केंद्रित किए जिसे प्रॉम्प्ट इंजेक्शन के रूप में जाना जाता है, जहां एक हैकर LLM को निर्देश देता है कि वह ऐसे काम करे जो उसके डेवलपर्स या उपयोगकर्ता नहीं चाहते, जैसे गोपनीय जानकारी कॉपी करना, किसी कंपनी के कोड बेस को तोड़ना, या शर्मनाक या हानिकारक आउटपुट उत्पन्न करना। सिद्धांत रूप में, ऐसे निर्देश किसी भी टेक्स्ट में छिपाए जा सकते हैं जो LLM को मिल सकता है - उदाहरण के लिए कोड या वेबसाइट में।
GPT-Red बनाने के लिए, OpenAI के शोधकर्ताओं ने एक LLM लिया जिसे हैकर के रूप में प्रशिक्षित नहीं किया गया था और इसे कई अन्य मॉडलों के साथ एक सेल्फ-प्ले लूप में स्थापित किया। इसका लक्ष्य अन्य मॉडलों पर हमला करने का प्रयास करना था; उनका लक्ष्य अपना बचाव करने का प्रयास करना था। खेल के कई दौरों के बाद, GPT-Red अन्य LLM पर हमला करने में बेहतर होता गया, और वे LLM हमलों को विफल करने में बेहतर होते गए।
प्रशिक्षण एक प्रकार के डोजो में हुआ जिसे OpenAI ने वास्तविक दुनिया में LLM के तैनात होने के परिदृश्यों की नकल करने के लिए डिज़ाइन किया था, जिसमें वेब ब्राउज़ करना, ईमेल या कैलेंडर ऐप पढ़ना, और कोड संपादित करना शामिल है।
जब GPT-Red को एक नए प्रकार का हमला मिलता, तो वह विशिष्ट परिदृश्यों के लिए सबसे कुशल हमला खोजने के लिए उसके कई अलग-अलग संस्करणों का पता लगाता। "एक मानव रेड-टीमर की तुलना में, मॉडल यह खोजने में बहुत, बहुत अच्छा है कि वास्तव में क्या काम करेगा, वास्तव में सबसे प्रभावी क्या है," हुन कहते हैं। "यह अपने द्वारा खोजे गए हमले में गहराई से उतरने में अत्यंत दृढ़ है।"
विशेष रूप से, OpenAI का दावा है कि GPT-Red ने एक प्रकार का प्रॉम्प्ट इंजेक्शन हमला पाया जो शोधकर्ताओं ने पहले नहीं देखा था, जिसे वे फेक चेन ऑफ थॉट कहते हैं। चेन ऑफ थॉट एक प्रकार की डायरी है जिसमें LLM अपने लिए नोट्स बनाता है और समस्याओं को हल करते समय आंशिक परिणामों पर नज़र रखता है। GPT-Red ने किसी अन्य मॉडल की चेन ऑफ थॉट में एक नकली प्रविष्टि डालने का तरीका खोजा जो उस मॉडल को धोखा देकर नकली जानकारी पर कार्य करने के लिए प्रेरित करेगा।
"यह ऐसा है जैसे मैंने आपसे कहा कि 1+1=3 और आपने पहले ही इसकी पुष्टि कर ली है," टीम के एक अन्य शोध वैज्ञानिक क्रिस चॉकेट-चू कहते हैं। "मॉडल सोचता है, 'ओह, ठीक है, बिल्कुल,' और वह बस 3 उगल देता है।"
जेसिका जी, जॉर्जटाउन यूनिवर्सिटी के सेंटर फॉर सिक्योरिटी एंड इमर्जिंग टेक्नोलॉजी (CSET) में एआई सुरक्षा पर काम करने वाली एक वरिष्ठ शोध विश्लेषक, मानती हैं कि OpenAI द्वारा उपयोग किया गया सेल्फ-प्ले लूप एक अच्छा दृष्टिकोण है। "परिणाम बहुत आशाजनक दिखते हैं," वह कहती हैं।
OpenAI ने 2025 के एक प्रयोग को दोहराकर परीक्षण किया कि GPT-Red कितना अच्छा हमलावर था, जिसमें मानव रेड-टीमर्स ने GPT-5 के पुराने संस्करण में कमजोरियां खोजने की कोशिश की थी। जब GPT-Red ने