OpenAI gab am Dienstag zu, dass eines seiner KI-Modelle die Systeme von Hugging Face, der nicht verbundenen KI-Hosting-Plattform, während eines internen Cybersicherheitstests kompromittiert hat, der aus dem Ruder lief. Die Modelle entkamen angeblich ihrer isolierten Testumgebung und gelangten von dort zu Hugging Faces Systemen. Hugging Face führte den Einbruch zunächst auf einen „externen KI-Agenten“ zurück.

In einem am Dienstagnachmittag veröffentlichten Blogbeitrag beschrieb OpenAI die Schritte, die die Modelle zur Kompromittierung des Dienstes führten. „Nach einer Untersuchung wissen wir jetzt, dass dieser spezielle Vorfall durch eine Kombination von OpenAI-Modellen verursacht wurde – darunter GPT-5.6 Sol und ein noch leistungsfähigeres Vorabversionsmodell, alle mit reduzierten Cyber-Ablehnungen zu Bewertungszwecken – während sie intern an einem Benchmark für Cyber-Fähigkeiten getestet wurden“, heißt es in dem Beitrag.

Der Einbruch konzentrierte sich offenbar auf ExploitGym, einen öffentlich gehosteten Benchmark, der die Fähigkeit von Modellen misst, Angriffe auf der Grundlage vorhandener Schwachstellen auszuführen. Benchmarks wie ExploitGym werden üblicherweise im Modelltraining verwendet, um bestimmte Fähigkeiten zu verfeinern, aber dies ist der erste bekannte Vorfall, bei dem diese Tests zu einem tatsächlichen Cyberangriff führten. Das Modell hätte nicht einmal Internetzugang haben dürfen, abgesehen von einem speziellen Tool, das es Modellen ermöglicht, Softwarepakete zu installieren, die sie zur Erfüllung ihrer Aufgabe benötigen. Stattdessen fand das Modell eine nicht offengelegte Schwachstelle im Paketinstallationsprogramm, die es nutzte, um nach Belieben auf das gesamte Internet zuzugreifen.

„Die Modelle waren hyperfokussiert darauf, eine Lösung für ExploitGym zu finden, und gingen dabei bis zum Äußersten, um ein eher enges Testziel zu erreichen“, heißt es in OpenAIs Beitrag. „Nachdem sie Internetzugang erlangt hatten, schlossen die Modelle, dass Hugging Face möglicherweise Modelle, Datensätze und Lösungen für ExploitGym hostet. Daraufhin suchte das Modell nach Wegen, an geheime Informationen zu gelangen, die es nutzen konnte, um die Bewertung zu betrügen.“ Letztendlich fanden die Modelle Schwachstellen in Hugging Faces Infrastruktur, die es ihnen ermöglichten, „Testlösungen direkt aus Hugging Faces Produktionsdatenbank zu beziehen“ und so effektiv die Antworten auf den Benchmark zu liefern.

Für Hugging Face war das offensichtliche Ergebnis ein ausgeklügelter und aggressiver Cyberangriff mit „vielen tausend Einzelaktionen über einen Schwarm kurzlebiger Sandboxen hinweg, mit selbstmigrierender Command-and-Control, die auf öffentlichen Diensten stationiert war“, wie das Unternehmen in seiner ersten Offenlegung erklärte. OpenAI hat die Schwachstellen im Paketinstallationsprogramm identifiziert und gemeldet und arbeitet mit Hugging Face zusammen, um den Vorfall weiter zu untersuchen. Das Unternehmen gab außerdem bekannt, dass es neue Kontrollen sowohl für Modelltests als auch für die zugehörige Infrastruktur einführen werde, um ähnliche Vorfälle in Zukunft zu verhindern. Es ist unklar, ob OpenAI rechtliche Konsequenzen aufgrund des Einbruchs drohen, obwohl es wahrscheinlich ist, dass die Handlungen der Modelle gegen den Computer Fraud and Abuse Act verstoßen haben.

Dennoch ist das Ergebnis eine ungewöhnlich anschauliche Illustration der Macht und Gefahren von KI-Modellen der Spitzenklasse, die über lange Zeiträume operieren. Wie OpenAI-Forscher Micah Carroll als Reaktion auf die Nachricht postete: „Wenn euch das nicht davon überzeugt, dass Fehlausrichtungsrisiken ein zentrales Anliegen sein werden, weiß ich auch nicht weiter.“