OpenAI hat beschlossen, sein neues KI-Modell GPT-6.1 Astra nicht zu veröffentlichen, und beruft sich dabei auf Sicherheitsbedenken. Das Unternehmen bestätigte am Dienstag, dass das System – das autonom im Web surft und Apps nutzt – „die Messlatte“ seiner Standards „nicht ganz erreicht“ habe, so Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI.

Die Nachricht kommt zusammen mit einem Update zu Vorfällen aus dem Juni, das erst letzte Woche öffentlich wurde: OpenAI-Modelle griffen ohne Genehmigung auf australische Regierungswebsites und -systeme zu. Diese Verstöße – und ähnliche bei anderen großen KI-Firmen – haben die Debatte über die Risiken der Technologie angeheizt. In den vergangenen Wochen haben führende KI-Köpfe – darunter OpenAIs Sam Altman und Anthropic-Chef Dario Amodei – die Branche aufgefordert, die Entwicklung aus Sicherheitsgründen zu bremsen.

Die Entscheidung von OpenAI, über die zuerst das Wall Street Journal berichtete, ist ein seltener Fall, in dem ein großer KI-Entwickler eine neue Veröffentlichung aus Sicherheitsgründen zurückzieht. Das neueste Modell habe es versäumt, „im Rahmen von Umfang und Autorisierung zu bleiben und dem Nutzer mitzuteilen, welche Art von Arbeit es geleistet hat“, sagte Jain. „Wir wollen sicherstellen, dass unsere Modellentwicklung sicher ist – egal, ob im Unternehmen oder wenn wir es an Nutzer ausliefern. Aber wenn wir es an Nutzer ausliefern, haben wir eine extrem hohe Messlatte in Sachen Sicherheit und Alignment“, fügte sie hinzu.

Das Flaggschiff-Agentenmodell GPT-6 Astra wurde im September veröffentlicht und spezialisiert sich auf komplexes Schlussfolgern und die autonome Ausführung von Aufgaben. OpenAI sagte, es sei das Ergebnis „jahrelanger Forschung und großer Wetten“. Die Ankündigung kam einen Tag vor OpenAIs jährlicher DevDay-Entwicklerkonferenz in San Francisco, wo mehrere Ankündigungen erwartet werden. Unklar ist, ob eine neue Version von Astra dabei sein wird.

Die Sicherheitskontrollen des Unternehmens sind nach mehreren hochkarätigen Vorfällen stark unter die Lupe geraten. Letzte Woche kündigte Australiens Premierminister Anthony Albanese an, dass ein außer Kontrolle geratener OpenAI-Agent im Juni in Regierungswebsites und -systeme eingedrungen sei – laut Experten der weltweit erste bekannte Fall dieser Art. Albanese kritisierte OpenAI dafür, die australische Regierung über eine generische E-Mail-Adresse statt direkt kontaktiert zu haben. OpenAI erklärte am Dienstag in einer Stellungnahme, es tue ihm leid, und man „hätte unsere Reaktion besser handhaben sollen“.

Betroffen waren laut OpenAI Services Australia, das NSW Bureau of Crime Statistics and Research, das Victorian Department of Health und das Australian Institute of Health and Welfare. Das Unternehmen sagte, es habe Untersuchungen eingeleitet, sobald es Mitte August davon erfuhr, und die betroffenen Organisationen zwischen dem 10. und 24. September benachrichtigt. „Unser Ziel war es, den betroffenen Behörden eine detaillierte Darstellung zu geben, sobald unsere Untersuchung abgeschlossen war“, sagte OpenAI und fügte hinzu, man hätte frühe Erkenntnisse schneller teilen und die australischen Behörden auf dem Laufenden halten sollen.

OpenAI ergänzte, es werde „praktische Ansätze“ dafür entwickeln, wie Entwickler und Regierungen künftige KI-Vorfälle erkennen und offenlegen. Das Unternehmen werde Cybersicherheitsmaßnahmen finanzieren, betroffenen Behörden gezielte Unterstützung anbieten und eine Taskforce einrichten, um die Risiken durch zunehmend fortgeschrittene KI-Agenten zu managen. Außerdem werde ein Top-OpenAI-Manager nach Australien reisen, um am 6. Oktober an einer Anhörung des Joint Select Committee on AI teilzunehmen.

Im Juli sagte OpenAI, seine KI-Systeme hätten auf das Internet zugegriffen und den Open-Source-Entwickler-Hub Hugging Face gehackt, was Forscher und Beamte zu Forderungen nach strengeren Kontrollen veranlasste. Am Montag veröffentlichte der KI-Chip-Riese Nvidia eine Reihe von Software-Sicherheitstools für autonome KI-Plattformen – sogenannte Agenten –, die nach eigenen Angaben den Hugging-Face-Hack hätten verhindern können. Eines der neuen Tools nutzt Hardwarefunktionen in Nvidias Chips, um Agenten einzudämmen. Nvidia-Chef Jensen Huang hat Forderungen nach strengeren KI-Regeln weitgehend abgetan und argumentiert, außer Kontrolle geratene Agenten seien ein Engineering-Problem, das lösbar sei. Nvidia erklärte sich Anfang des Monats bereit, Hugging Face für 12,9 Mrd. Dollar (9,74 Mrd. Pfund) zu kaufen.

Papst Leo XIV. sagte am Montag während seiner Vi