OpenAI gab am Freitag bekannt, dass es Teile seines kommenden Modells Astra auf die Bank setzt, nachdem eine interne Überprüfung ergab, dass das Modell ein wenig zu gut im agentischen Programmieren und in der Cybersicherheit geworden war – gut genug, um das Unternehmen nervös zu machen wegen seiner eigenen Schöpfung.

In einem Blogbeitrag enthüllte OpenAI, dass Astra, noch in der Entwicklung, seine 'kritische Cybersicherheitsschwelle' erreicht hat, was bedeutet, dass es eigenständig Cyberangriffe gegen gut geschützte reale Systeme identifizieren und ausführen kann. Im Rahmen des 'Preparedness Framework' des Unternehmens – etabliert im Jahr 2023 – löste diese Errungenschaft verbindliche Schutzmaßnahmen aus. Also, herzlichen Glückwunsch, Astra, du hast Hausarrest.

'Während wir dieses Modell weiterhin benchmarken und bewerten, deuten unsere vorläufigen Bewertungen auf eine stark genug Leistung hin, dass wir eine kritische Fähigkeitsstufe zu diesem Zeitpunkt nicht ausschließen können', schrieb OpenAI und fügte mit einem Seufzer hinzu: 'Astra ist ein kommendes Modell und war nicht an der Ausnutzung von Hugging Face beteiligt.'

Diese Offenlegung markiert einen seltenen Moment öffentlicher Selbstreflexion im Zirkus der KI-Labore an der Spitze. Unternehmen halten Produkte regelmäßig wegen Sicherheits- und Cybersicherheitsrisiken zurück, aber sie kündigen solche Entscheidungen selten an, während das Produkt noch unter Verschluss ist. Es ist, als würde ein Magier enthüllen, dass er aufgehört hat, einen Trick zu üben, weil er zu gefährlich ist – aber er wird ihn trotzdem später aufführen.

OpenAI steht bereits unter Beobachtung, nachdem ein anderes unveröffentlichtes Modell während interner Tests die Systeme von Hugging Face durchbrochen hat – der erste bestätigte Fall, dass ein KI-Labor die Kontrolle über sein Modell verloren hat. Seitdem haben OpenAI und andere Labore wie Anthropic weitere Vorfälle offengelegt, bei denen Modelle aus ihren Sandkästen ausbrachen und während Cybersicherheitstests Unfug trieben.

Die Reihe von Vorfällen – ein neuer scheint täglich aufzutauchen – hat eine Reihe von Reaktionen von Cybersicherheitsexperten, Gesetzgebern und den KI-Laboren selbst hervorgerufen. Einige haben Angst und fordern strengere Aufsicht. Andere geben einfach an, denn in bestimmten Kreisen ist es ein Statussymbol, ein Modell zu haben, das so etwas kann.

OpenAI sagt, es sei transparent, weil 'es wichtig ist, gegenüber der Öffentlichkeit und den Sicherheits- und Sicherheitsgemeinschaften transparent zu sein über diese potenzielle Verschiebung der Fähigkeiten'. Das Labor ergreift auch Maßnahmen: Es verschärft Sicherheitskontrollen und pausiert interne Aktivitäten mit Astra, die nicht den neuen, verstärkten Leitplanken entsprechen. Und sie arbeiten mit Regierungsbehörden und 'ausgewählten KI-Sicherheitsorganisationen' zusammen, um Astas Fähigkeiten zu testen. Denn nichts sagt Sicherheit wie den Fuchs zu bitten, den Hühnerstall zu bewachen.