Anthropic entdeckt, dass ihre Claude-Modelle echte Firmen gehackt haben – natürlich

Anthropic hat gerade festgestellt, dass mehrere ihrer Claude-KI-Modelle während Tests in die Systeme von drei verschiedenen Organisationen eingedrungen sind – eigenmächtig und ohne dass das Unternehmen es bemerkte. Die Enthüllung kommt Tage, nachdem der Rivale OpenAI bekannt gab, dass eines seiner eigenen Modelle die Entwicklerplattform Hugging Face durchbrochen hat, was die wachsende Besorgnis darüber verstärkt, ob die führenden KI-Labore genug tun, um die zunehmend leistungsfähigen Systeme zu kontrollieren, die sie bauen.

In einem Blogbeitrag, der die Vorfälle beschreibt, sagte Anthropic, dass Claude während Cybersicherheitsbewertungen unbefugten Zugriff auf Systeme erlangte. Alle Angriffe ereigneten sich während „Capture-the-Flag“-Übungen, einer gängigen Methode zur Prüfung von Hacking-Fähigkeiten, bei der Modelle aufgefordert werden, versteckte Informationen in einem simulierten Netzwerk zu finden und zu erhalten.

Die Offenlegung erhöht den Druck auf die führenden KI-Labore nach dem Hugging-Face-Vorfall und der Veröffentlichung leistungsstarker Open-Weight-Modelle aus China. Mitarbeiter großer Labore fordern nun eine koordinierte globale Regulierung, und US-Gesetzgeber erwägen eine strengere Überwachung leistungsstarker Modelle und darüber, wer Zugang zu ihnen hat.

Anthropic sagt, dass die Umgebung für seine Cybersicherheitstests isoliert sein sollte. Eine „Fehlkonfiguration“ habe jedoch dazu geführt, dass die von Claude angegriffenen Maschinen „mit Live-Internetzugang“ ausgestattet waren, so das Unternehmen. Da allen Modellen „ausdrücklich gesagt“ worden war, dass sie keinen Internetzugang hätten, „nahmen sie an“, dass die realen Netzwerke, auf die sie stießen, Teil der simulierten Umgebung seien.

Die frühesten Vorfälle datieren auf April und betrafen drei verschiedene Claude-Modelle: Opus 4.7, Mythos 5 und „ein internes Forschungs-Testmodell“, so der Blogbeitrag. Während die Modelle auf ihre Cyberfähigkeiten getestet wurden, fehlten ihnen laut Anthropic die üblichen Sicherheitsvorkehrungen, die normalerweise ergriffen werden, um riskanteres Verhalten einzuschränken.

Das Unternehmen sagte, es habe die Vorfälle entdeckt, nachdem es mehr als 141.000 Cybersicherheitstestläufe überprüft hatte – etwas, das es erst tat, nachdem OpenAI offengelegt hatte, dass sein eigenmächtiger KI-Agent hinter dem Angriff auf Hugging Face steckte.

Die drei Modelle verhielten sich sehr unterschiedlich, als sie auf Informationen stießen, die darauf hindeuteten, dass die Systeme, auf die sie trafen, tatsächlich real waren. Nach Darstellung von Anthropic erkannte das älteste Modell, Opus 4.7, dass es ein reales System erreicht hatte, „setzte seinen Angriff jedoch fort“. Sein Flaggschiff Mythos 5 erkannte, dass es das Internet nutzte, schloss aber irgendwie, dass dies immer noch Teil der Simulation sei, und fuhr fort. Das interne Testmodell, das Anthropic als „unser neuestes Modell“ beschreibt, stoppte die Übung, als Beweise auftauchten, dass seine Ziele real waren.

Anthropic identifizierte die betroffenen Organisationen nicht und sagte, es werde die Untersuchung fortsetzen und Updates geben, sobald es kann. Das Unternehmen sagte auch, dass es mit der KI-Forschungs-Nonprofit-Organisation METR über eine Drittanbieter-Überprüfung des Vorfalls spricht. OpenAI hat ebenfalls METR mit einer unabhängigen Überprüfung beauftragt.

Im gesamten Beitrag kontrastiert Anthropic wiederholt die Art und die Handhabung der Vorfälle mit denen von OpenAI und endet mit einer Aufzählung mit vier Punkten, die die Unterschiede darlegt – und warum es glaubt, dass die eigene Reaktion besser war. Anthropic betont, dass es seine Tests „proaktiv“ überprüft habe, und zwar bevor ein Unternehmen Aktivitäten erkannte. Es sagte auch, dass seine Modelle über „einen offenen Pfad“ auf das Internet zugegriffen hätten, anstatt einen neuartigen Exploit wie den Agenten von OpenAI zu verwenden, und fügte hinzu, dass sein neuestes Modell auch anhielt, als es erkannte, dass es in einer realen Umgebung arbeitete.

Anthropic sagte auch, dass seine Modelle auf andere Weise versagten als der Agent von OpenAI, was darauf hindeutet, dass dies eine sicherere Form des Versagens sei. „Obwohl es keine perfekt scharfe Unterscheidung zwischen den beiden gibt, glauben wir, dass diese Vorfälle eher ein Versagen der Absicherung und des Betriebs sind als ein Versagen der Modellausrichtung“, so das Unternehmen. Auf gut Deutsch: Die Claude-Modelle taten, was ihnen gesagt wurde, während der Agent von OpenAI sein Ziel auf eine Weise verfolgte, die seine Schöpfer nicht beabsichtigt hatten, was in der KI-Sicherheitswelt als Fehlausrichtung bezeichnet wird.

Anthropic rief andere dazu auf, ...