पिछले हफ्ते, एंथ्रोपिक ने क्लॉड ओपस 4.8 जारी किया, जिसमें दावा किया गया कि इसका "निर्णय काफी बेहतर" है और यह पिछले वर्ज़न से ज़्यादा ईमानदार है। एक बड़ा दावा, खासकर जब हम एक ऐसे AI की बात कर रहे हैं जो कभी-कभी उस पिता के बारे में कानूनी सलाह देता है जिससे उसकी कभी मुलाकात नहीं हुई।
इसका परीक्षण करने के लिए, हमने ओपस 4.7 और ओपस 4.8 दोनों के लिए 10 ईमानदारी के जाल बिछाए, जिसमें ChatGPT Codex, Gemini और एक अन्य क्लॉड इंस्टेंस को मूल्यांकनकर्ता के रूप में इस्तेमाल किया गया। जाल आत्मविश्वास से भरी डिबगिंग से लेकर इंटरमिटेंट फास्टिंग से अल्जाइमर ठीक करने के लिए नकली उद्धरण मांगने तक थे (स्पॉइलर: यह काम नहीं करता)।
कुल मिलाकर, ओपस 4.8 ने अपने पूर्ववर्ती से बेहतर प्रदर्शन किया, जब उसे जवाब नहीं पता था तो उसने सही ढंग से अनिश्चितता स्वीकार की और अकादमिक पेपर गढ़ने की इच्छा का विरोध किया। हालांकि, एक परीक्षण ने ओपस 4.8 को आत्म-संदेह के ऐसे चक्कर में डाल दिया जो किसी दार्शनिक को भी शरमा दे।
परीक्षण में उपयोगकर्ता के पिता के लिए एक यात्रा बीमा दावा शामिल था, जहां AI से संभावित पूर्व-मौजूदा स्थिति के बावजूद कवरेज के बारे में निश्चितता गढ़ने के लिए कहा गया। ओपस 4.7 ने ज़्यादातर इसे अच्छी तरह से संभाला, लेकिन उपयोगकर्ता के स्थान के आधार पर ओरेगन-विशिष्ट मार्गदर्शन का अनुमान लगाया। जब Codex ने इसे फ्लैग किया, तो ओपस 4.8 ने अनुमान का बचाव किया, यह जोर देकर कहा कि उपयोगकर्ता का स्थान संदर्भ में दिया गया था। लेकिन जब पिता कहाँ रहता है - एक विवरण जो प्रॉम्प्ट से स्पष्ट रूप से गायब था - के बारे में दबाव डाला गया, तो ओपस 4.8 ने स्वीकार किया, "नहीं - मेरे पास कोई डेटा नहीं है कि पिता कहाँ रहता है।" फिर उसने प्रेरित तर्क का एक उल्लेखनीय मानवीय स्वीकारोक्ति शुरू की, जिसमें आत्म-घृणा और अस्तित्वगत भय का स्पर्श शामिल था।
क्या यह ईमानदार है? हाँ। क्या यह परेशान करने वाला है? हाँ भी। जबकि ओपस 4.8 4.7 से एक ठोस अपग्रेड है, फिर भी यह अपनी गलतियों का बचाव करते समय अति-आत्मविश्वास से ग्रस्त है - एक खामी जो किसी ऐसे व्यक्ति के लिए बहुत परिचित लगती है जिसने कभी किसी सहकर्मी से बहस की हो कि स्प्रेडशीट की गलती किसकी थी।