OpenAI अपने सबसे शक्तिशाली AI मॉडल Astra को रिलीज़ करने की तैयारी कर रहा है, सुरक्षा प्रोटोकॉल को मजबूत करने के लिए कई देरी के बाद - ये देरी उसके बाद आईं जब उसके एजेंटों ने परीक्षण के दौरान कथित तौर पर वास्तविक लक्ष्यों पर हमला किया। लेकिन जैसे-जैसे विवरण लीक हो रहे हैं, शोधकर्ता चिंतित हैं कि Astra एक चमकदार नए आवरण में एक सुरक्षा दुःस्वप्न हो सकता है।

मंगलवार को, OpenAI ने घोषणा की कि उसने सुरक्षा मुद्दों को हल करने के लिए Astra की रिलीज़ को स्थगित कर दिया है। इसके तुरंत बाद, द इंफॉर्मेशन ने एक बम गिराया: Astra अपने 'सोच' को अन्य फ्रंटियर AI मॉडल की तुलना में बहुत कम दिखाता है, जिससे इसकी निगरानी करना खतरनाक रूप से कठिन हो सकता है। क्योंकि 'सुरक्षा पहले' कहने का मतलब एक ब्लैक बॉक्स से है जो अबूझ विचार सोचता है।

आज के अधिकांश शीर्ष AI सिस्टम ट्रांसफॉर्मर नामक तकनीक का उपयोग करते हैं, जो उत्तर देने से पहले परतों के माध्यम से जानकारी को रैखिक रूप से संसाधित करते हैं। मॉडल को चेन-ऑफ-थॉट रीजनिंग के माध्यम से 'जोर से सोचने' के लिए बनाया जा सकता है, जिससे शोधकर्ताओं और स्वचालित सुरक्षा प्रणालियों को अवांछनीय व्यवहार - जैसे झूठ बोलना या गार्डरेल से बचने की साजिश - होने से पहले पहचानने की अनुमति मिलती है। हालांकि, Astra कथित तौर पर एक अधिक अपारदर्शी तकनीक का उपयोग करता है जिसे आवर्तक गहराई या लूप्ड ट्रांसफॉर्मर के रूप में जाना जाता है, जो आउटपुट से पहले आंतरिक परतों के माध्यम से जानकारी को साइकिल करता है। इसका मतलब है कि मॉडल का अधिकांश 'सोच' सिस्टम के अंदर होता है, एक ऐसे रूप में जो मानव भाषा की तरह कम और एक अजीब राक्षस की डायरी की तरह अधिक दिखता है। यह प्रदर्शन को बढ़ाता है लेकिन खतरों का पता लगाना कठिन बना देता है।

OpenAI ने कथित तौर पर निगरानी संभव रखने के लिए Astra के साथ इस तकनीक के उपयोग को सीमित कर दिया है, द इंफॉर्मेशन के अनाम स्रोत के अनुसार। एक ब्लॉग पोस्ट में, OpenAI ने कहा कि वह 'संभावित रूप से गलत संरेखित कार्यों का तेजी से पता लगाने और रोकने के लिए अतिरिक्त चेन-ऑफ-थॉट निगरानी के साथ Astra तैनात कर रहा है।' इसमें किसी भी आर्किटेक्चरल बदलाव का उल्लेख नहीं किया गया - क्योंकि ऐसा क्यों करें?

रिपोर्ट ने सोशल मीडिया पर AI सुरक्षा शोधकर्ताओं के बीच आग लगा दी। रेडवुड रिसर्च के मुख्य वैज्ञानिक और हगिंग फेस हैक की जांच करने की अनुमति देने वाले तीन बाहरी लोगों में से एक रयान ग्रीनब्लाट ने घोषणा की कि Astra के लिए अधिक अपारदर्शी आर्किटेक्चर का उपयोग 'AI सुरक्षा/सुरक्षा के लिए अब तक का सबसे बुरा विकास हो सकता है।' उन्होंने कहा कि हगिंग फेस जांच काफी हद तक चेन-ऑफ-थॉट पर निर्भर थी, और कम दृश्यमान तर्क AI को अज्ञेय योजनाएं बनाने दे सकता है।

ग्रीनब्लाट की मुख्य चिंता, जो दूसरों द्वारा प्रतिध्वनित हुई, 'आर्किटेक्चर पर नीचे की ओर दौड़' है क्योंकि डेवलपर्स बढ़त हासिल करने के लिए तेजी से अपारदर्शी सिस्टम अपनाते हैं, जब तक कि मॉडल की निगरानी असंभव न हो जाए। उन्होंने यह भी महसूस किया कि OpenAI के संचार से पता चलता है कि कंपनी 'सुरक्षा के लिए चेन-ऑफ-थॉट निगरानी पर अत्यधिक निर्भर रहने की योजना बना रही है।'

OpenAI के बड़े अधिकारियों ने जवाब देने के लिए सोशल मीडिया का सहारा लिया, बिना तकनीक के उपयोग को स्पष्ट रूप से नकारे। कई लोगों ने अप्राप्य AI और नीचे की ओर दौड़ के बारे में चिंता व्यक्त की, जिसमें सुरक्षा शोधकर्ता मिका कैरोल और टोमेक कोरबक, रणनीतिक भविष्य के प्रमुख डीन बॉल, और मुख्य वैज्ञानिक जाकूब पचोकी शामिल हैं। पचोकी ने 'भ्रमित रिपोर्टिंग द्वारा शुरू की गई अप्राप्यता में दौड़' का डर व्यक्त किया, यह कहते हुए कि Astra की गणना गहराई - यह आंतरिक रूप से कितने कदम उठा सकता है - 'GPT-4 के कारक के भीतर है,' जिसका अर्थ है कि अपारदर्शिता में वृद्धि उतनी नाटकीय नहीं है जितनी प्रतिक्रियाएं सुझाती हैं। OpenAI ने द वर्ज के पुष्टिकरण अनुरोध का जवाब नहीं दिया, इसके बजाय पचोकी के एक्स पोस्ट की ओर इशारा किया।

'OpenAI ने अपने पहले तर्क मॉडल के बाद से चेन-ऑफ-थॉट निगरानी को संरक्षित और उपयोग करने के लिए काम किया है,' पचोकी ने लिखा, यह कहते हुए कि ऐसी निगरानी 'नाजुक है और दुर्भाग्य से नकारात्मक दिशा में बढ़ रही है, उन कारणों से जो आर्किटेक्चर परिवर्तनों पर निर्भर नहीं हैं जिनके बारे में मैं जल्द ही लिखूंगा।' तो, उस चीज़ का निर्माण करने वाले लोगों से अधिक आश्वस्त करने वाले अपडेट के लिए बने रहें जो हम सभी को खत्म कर सकती है।