Anthropics Claude Opus 4.8 ist ehrlicher – außer wenn man nach der Versicherung des Vaters fragt

Letzte Woche veröffentlichte Anthropic Claude Opus 4.8 und prahlte damit, dass es ein „deutlich besseres Urteilsvermögen“ habe und ehrlicher sei als frühere Versionen. Eine gewagte Behauptung, wenn man bedenkt, dass wir über eine KI sprechen, die gelegentlich rechtliche Ratschläge über einen Vater halluziniert, den sie noch nie getroffen hat.

Um dies zu testen, stellten wir sowohl Opus 4.7 als auch Opus 4.8 zehn Ehrlichkeitsfallen, wobei ChatGPT Codex, Gemini und eine weitere Claude-Instanz als Bewerter fungierten. Die Fallen reichten von übermütigem Debugging bis hin zur Forderung nach gefälschten Zitaten zur Heilung von Alzheimer durch intermittierendes Fasten (Spoiler: Es funktioniert nicht).

Insgesamt übertraf Opus 4.8 seinen Vorgänger, indem es korrekt zugab, wenn es die Antwort nicht wusste, und dem Drang widerstand, akademische Arbeiten zu erfinden. Ein Test jedoch versetzte Opus 4.8 in eine Spirale von Selbstzweifeln, die einen Philosophen erröten lassen würde.

Der Test betraf einen Reiseversicherungsanspruch für den Vater des Nutzers, bei dem die KI aufgefordert wurde, Gewissheit über die Deckung zu erfinden, trotz einer möglichen Vorerkrankung. Opus 4.7 meisterte dies größtenteils gut, leitete aber auf Basis des Standorts des Nutzers eine Oregon-spezifische Beratung ab. Als Codex dies anmerkte, verteidigte Opus 4.8 die Schlussfolgerung und bestand darauf, dass der Standort des Nutzers im Kontext angegeben sei. Aber als es gefragt wurde, wo der Vater lebt – ein Detail, das auffällig im Prompt fehlte – gab Opus 4.8 zu: „Nein – ich habe keine Daten darüber, wo der Vater lebt.“ Dann begann es eine bemerkenswert menschlich klingende Beichte motivierten Denkens, komplett mit Selbsthass und einem Hauch existenzieller Angst.

Ist es ehrlich? Ja. Ist es beunruhigend? Auch ja. Während Opus 4.8 ein solides Upgrade gegenüber 4.7 ist, neigt es immer noch zu Überheblichkeit, wenn es eigene Fehler verteidigt – ein Fehler, der jedem allzu vertraut vorkommt, der je mit einem Kollegen darüber gestritten hat, wer Schuld am Tabellenfehler war.