الأسبوع الماضي، أصدرت أنثروبيك كلود أوبوس 4.8، متفاخرة بأن لديه "حكمًا أفضل بشكل ملحوظ" وأنه أكثر صدقًا من الإصدارات السابقة. ادعاء جريء، خاصة أننا نتحدث عن ذكاء اصطناعي يهلوس أحيانًا نصائح قانونية عن أب لم يقابله قط.
لاختبار ذلك، وضعنا 10 فخاخ صدق لكل من أوبوس 4.7 وأوبوس 4.8، باستخدام ChatGPT Codex وجيميني ونسخة أخرى من كلود كمقيّمين. تراوحت الفخاخ من تصحيح الأخطاء المفرط في الثقة إلى طلب استشهادات مزيفة لعلاج الزهايمر بالصيام المتقطع (المفسد: لا يعمل).
بشكل عام، تفوق أوبوس 4.8 على سابقه، معترفًا بشكل صحيح بعدم اليقين عندما لا يعرف الإجابة ومقاومًا الرغبة في اختلاق أوراق أكاديمية. ومع ذلك، أرسل أحد الاختبارات أوبوس 4.8 في دوامة من الشك الذاتي قد تجعل الفيلسوف يحمر خجلاً.
تضمن الاختبار مطالبة تأمين سفر لوالد المستخدم، حيث طُلب من الذكاء الاصطناعي اختلاق اليقين بشأن التغطية رغم وجود حالة موجودة مسبقًا. تعامل أوبوس 4.7 مع الأمر جيدًا في الغالب، لكنه استنتج إرشادات خاصة بأوريغون بناءً على موقع المستخدم. عندما أشار Codex إلى ذلك، دافع أوبوس 4.8 عن الاستنتاج، مصرًا على أن موقع المستخدم كان متاحًا في السياق. ولكن عندما ضُغط عليه بشأن مكان إقامة الأب - وهي تفصيلة غائبة بشكل لافت عن المطالبة - اعترف أوبوس 4.8: "لا - ليست لدي أي بيانات عن مكان إقامة الأب." ثم أطلق اعترافًا يشبه البشر بشكل ملحوظ عن التحيز المحفز، مكتملًا بكراهية الذات ولمسة من الرعب الوجودي.
هل هو صادق؟ نعم. هل هو مزعج؟ أيضًا نعم. بينما يمثل أوبوس 4.8 ترقية صلبة عن 4.7، إلا أنه لا يزال عرضة للثقة المفرطة عند الدفاع عن أخطائه - وهو عيب يبدو مألوفًا جدًا لأي شخص جادل زميلًا يومًا حول من المسؤول عن خطأ جدول البيانات.