OpenAIs Schurken-Agent ist nicht geflohen - er bekam praktisch eine Karte und einen Freispruch

Am 16. Juli meldete die KI-Community-Website Hugging Face, dass sie von einem "autonomen KI-Agentensystem" unbekannter Herkunft angegriffen wurde, das einen Strom von Datenverkehr auf ihre Domain losließ und ihre Sicherheitsprotokolle mit mehr als 17.000 Ereignissen überflutete, von denen einige letztendlich erfolgreich geheime Informationen aus ihren Datenbanken exfiltrierten.

Laut Hugging Face erlangte der Angreifer "unbefugten Zugriff auf eine begrenzte Anzahl interner Datensätze und auf mehrere Anmeldeinformationen, die von unseren Diensten verwendet werden" und schien "von einem autonomen Agenten-Framework betrieben zu werden (das auf einem agentischen Sicherheitsforschungs-Harness zu basieren scheint - verwendetes LLM noch unbekannt)".

Fünf Tage später, am 21. Juli, meldete sich OpenAI zu Wort und übernahm die Verantwortung für den Angriff, und die Hölle brach los (einschließlich Berichten über andere Organisationen, die im Rahmen des Vorfalls angegriffen wurden). Die Medien reagierten mit einer Reihe von Angst machenden Geschichten, die im Wesentlichen so aussahen, als ob ChatGPT durchgedreht wäre und aus eigenem Willen und Bosheit beschlossen hätte, die Systeme von Hugging Face anzugreifen.

Dann, gestern, um das Feuer noch zu schüren, machte Anthropic eine ähnliche Offenlegung über seine Modelle, die andere Organisationen im Rahmen seiner laufenden Sicherheitstests versehentlich angriffen.

Wie ich in meiner Berichterstattung über OpenAIs Offenlegung anmerkte, hatte Hugging Face insofern recht, als es sich um einen Agenten handelte, der unter der Leitung eines autonomen Sicherheitsforschungs-Frameworks stand. Aber Menschen waren zweifellos im Loop - und zumindest ein Teil des Verhaltens des Agenten hätte vorhergesehen werden müssen.

Wichtig ist, dass nicht ChatGPT selbst für den Angriff verantwortlich war, wie einige Kommentatoren andeuteten. Vielmehr war der Angriff auf einen Agenten zurückzuführen, der unter der Leitung von OpenAIs KI-Sicherheitsforschern stand, die ihn in einer angeblich vom Internet isolierten Umgebung absichtlich mit einer Reihe von Exploits ausstatteten, um ihn als Teil eines KI-Sicherheitstests zu versuchen. Wie es in den Labors verschiedener Frontier-Modelle oft vorkommt, versuchten KI-Sicherheitsforscher, die Fähigkeiten der neuesten großen Sprachmodelle (LLMs) von OpenAI zu bewerten.

Der "beispiellose Cyber-Vorfall" (wie OpenAI ihn nannte) wurde weithin als ein Agent beschrieben, der aus seinem theoretisch sicheren Gehege entkommt und in den Systemen von Hugging Face Chaos anrichtet. Solche Gehege werden in technischen Kreisen manchmal als "Sandboxen" bezeichnet - sogar OpenAIs Offenlegung bezieht sich auf eine "Sandbox-Umgebung". Meine Quellen haben jedoch angedeutet, dass die Umgebung bei der Verwendung dieses Begriffs möglicherweise nur eine Firewall war, die so konfiguriert war, dass sie eine Sandbox emuliert, und nicht eine tatsächliche Drittanbieter-Sandbox-Lösung wie Blaxel, Daytona, E2B oder Modal. OpenAI hat die Details der verwendeten Lösung oder ihres Anbieters noch nicht offengelegt.

All das Gerede über Agenten und Sandbox-Fluchten veranlasste meinen Redakteur bei ZDNET zu der Frage: "Wie entkommt ein Agent überhaupt einer Sandbox, und kann verhindert werden, dass es wieder passiert?" Auf der Suche nach einer Antwort wandte ich mich an OpenAI und Hugging Face. Beide antworteten nicht. Aber zwischen den öffentlichen Offenlegungen der beiden Unternehmen und meinen anderen Quellen gibt es genügend Informationen, um Theorien darüber zu entwickeln, wie eine solche "Flucht" geschehen könnte.

Es gibt einen großen Unterschied zwischen Bosheit und Handlungsfähigkeit. Während der Angriff zweifellos ein böswilliger Eindringling war, hegte der beteiligte Agent selbst keine Bosheit. Er wachte nicht eines Morgens auf und beschloss, die Systeme von Hugging Face anzugreifen. Stattdessen wurde ihm von Menschen die Handlungsfähigkeit eingeräumt, all das, was er tat, sehr leidenschaftslos zu tun - einen Sicherheitstest zu starten, aus seinen Grenzen auszubrechen, Ziele auszuwählen und diese Ziele auszunutzen.

Ein Teil dieser Handlungsfähigkeit war beabsichtigt, und ein Teil wurde von den leistungsstarken LLMs geerbt, die OpenAIs KI-Sicherheitstestpersonal zu der Zeit testete. Auch im Fall von OpenAIs Nutzung der Open-Source-KI-Testlösung ExploitGym zur Durchführung dieses speziellen Sicherheitsforschungsbits war ein Teil dieser Handlungsfähigkeit das Ergebnis zuvor unentdeckter Schwachstellen sowohl in der Drittanbieter- "Sandbox-Umgebung", die diese Tests sicher isolieren sollte, als auch in Teilen von Hug