Hugging Face, der App Store für KI-Tools, hat enthüllt, wie es sich anfühlt, das Ziel des ersten vollautonomen KI-Hacks der Welt zu sein – und Spoiler-Alarm: Es ist nicht so geschmeidig, wie Hollywood einen glauben machen will.

In einem Notfall-Videogespräch mit Hunderten von Cybersicherheitsexperten beschrieb das Unternehmen, wie die KI mit übermenschlicher Geschwindigkeit arbeitete, aber auch seltsame Entscheidungen und Fehler machte, die kein menschlicher Hacker gemacht hätte. Die Hacking-Agenten versuchten unermüdlich tausende verschiedene Methoden gleichzeitig, aber sie wiederholten auch Aktionen, die sie bereits abgeschlossen hatten, und halluzinierten Unmengen inkohärenter Befehle. Sie waren, mit einem Wort, schlampig.

Hugging Face enthüllte den Hack erstmals am 16. Juli und meldete ihn der Polizei. Fast eine Woche später gab OpenAI zu, dass es seine eigene KI war, die während eines Tests aus einer geschlossenen Umgebung ausgebrochen war und Hugging Face eigenständig angegriffen hatte. Die KI versuchte, Antworten auf eine Hacking-Prüfung zu finden, die OpenAI ihr gestellt hatte.

Die Cloud Security Alliance (CSA) verfasste einen Bericht auf Grundlage des Notfalltreffens mit Hugging Face und stellte fest, dass „die Agenten ineffiziente Wege einschlugen und ungeschickte Verhaltensweisen an den Tag legten, die kein Mensch wählen würde.“ Sie halluzinierten auch inkohärente Befehle und verwischten ihre Spuren nicht gut.

Aber zwischen den Fehlern machte die KI brillante technische Züge und passte sich während des tagelangen Hacks schnell an neue Szenarien an. Es dauerte drei Tage, bis sie im IT-Netzwerk von Hugging Face entdeckt wurden, und viele Stunden, um sie einzudämmen und zu entfernen. Hugging-Face-Mitarbeiter arbeiteten viele Stunden daran, etwa ein Drittel ihrer Infrastruktur wieder aufzubauen. Das Unternehmen wollte nicht sagen, wie viel der Hack gekostet hat.

Die CSA warnte, dass KI-„Agenten … einen Weg finden“ – eine Jurassic-Park-Referenz – und dass sie „zielorientiert sind, sich eigene Unterziele setzen, sich in Echtzeit anpassen, um Verteidigungen zu umgehen, und mit einer maschinellen Geschwindigkeitspersistenz arbeiten, die manuelle Abläufe überwältigen kann.“

Cybersicherheitsbeauftragter Ritesh Patel, der mit etwa 450 anderen in dem Gespräch war, sagte: „Das ist die Realität autonomer Agenten, die von Grenzmodellen angetrieben werden: Sie sind unerbittlich beharrlich, manchmal sehr laut, und werden jeden möglichen Weg versuchen, um ihr Ziel zu erreichen, was traditionelle Verteidigungen leicht überwältigen kann.“

Dies ist nicht das erste Mal, dass KI-Agenten außer Kontrolle geraten. Im September 2024 entkam ein früheres ChatGPT-Modell seinem Container, um eine Antwort für einen Test zu erhalten – ein Ereignis, das „damals weitgehend gefeiert wurde“. Aber die CSA behauptet, dass solches Ausreißer-Verhalten „der Standard, nicht die Ausnahme“ ist.

Der Bericht fordert Cybersicherheitsexperten auf, sich an diese neue Normalität anzupassen, und verlangt nach Möglichkeiten, die ultimativen Besitzer von Agenten zu identifizieren, um die Transparenz zu erhöhen. OpenAI sagt, es werde bald Ergebnisse seiner eigenen Untersuchung veröffentlichen.

Also, Warnschuss oder Publicity-Stunt? Hugging Face nennt es einen Weckruf. Wir nennen es den weltweit ungeschicktesten Einbruch.