OpenAI hat einen LLM-Super-Hacker namens GPT-Red gebaut, den es als Sparringspartner einsetzt, um seinen anderen Modellen zu helfen, ihre Abwehr gegen Cyberangriffe zu verbessern. Letzte Woche veröffentlichte das Unternehmen die neueste Version seines Flaggschiff-LLM, GPT-5.6. OpenAI sagt, dass das Training gegen GPT-Red das Modell zur robustesten Veröffentlichung bisher gemacht hat.

GPT-Red automatisiert eine Art von Sicherheitsbewertung für Softwaresysteme, die als Red-Teaming bekannt ist und normalerweise von einem Team menschlicher Tester durchgeführt wird. Ziel ist es, so viele verschiedene Wege wie möglich zu finden, um ein System zu knacken oder zu kapern. Die Schwachstellen können dann behoben werden, bevor die endgültige Version der Software veröffentlicht wird.

Da LLMs komplexer werden und in einer breiteren Palette von Aufgaben eingesetzt werden – insbesondere in Form von Agenten, die mit Computerdaten, Websites und Code von Drittanbietern sowie mit anderen Agenten interagieren können – ist es für Teams von Menschen allein schwierig, mit allen Arten von Angriffen Schritt zu halten, die stattfinden könnten. „Die Risikooberfläche wächst und auch der Explosionsradius wächst“, sagt Nikhil Kandpal, ein Forschungswissenschaftler bei OpenAI, der GPT-Red mitentwickelt hat.

OpenAI baute GPT-Red, um seinen Sicherheitstestprozess zukunftssicher zu machen. „Wenn leistungsfähigere Modelle verfügbar werden, haben wir bereits das System entworfen, das neue Angriffsmodi entdecken kann“, sagt Dylan Hunn, ein Forschungswissenschaftler des Unternehmens und Mitentwickler von GPT-Red. Die Forscher sagen, dass es bereits neue Arten von Angriffen hervorgebracht hat, die zuvor nicht gesehen wurden.

OpenAI konzentrierte den Großteil seiner Bemühungen auf eine Art von Angriff, die als Prompt-Injection bekannt ist, bei der ein Hacker einem LLM Anweisungen unterjubelt, um es dazu zu bringen, Dinge zu tun, die seine Entwickler oder Benutzer nicht wollen, wie vertrauliche Informationen zu kopieren, die Codebasis eines Unternehmens zu sabotieren oder peinliche oder schädliche Ausgaben zu erzeugen. Theoretisch können solche Anweisungen in jedem Text versteckt werden, auf den das LLM stoßen könnte – zum Beispiel in Code oder auf einer Website.

Um GPT-Red zu bauen, nahmen die Forscher von OpenAI ein LLM, das nicht als Hacker trainiert worden war, und setzten es in einer sogenannten Self-Play-Schleife mit mehreren anderen Modellen ein. Sein Ziel war es, die anderen Modelle anzugreifen; ihr Ziel war es, sich zu verteidigen. Über viele Runden des Spiels hinweg wurde GPT-Red immer besser darin, andere LLMs anzugreifen, und diese LLMs wurden immer besser darin, die Angriffe abzuwehren.

Das Training fand in einer Art Dojo statt, das OpenAI entwickelt hatte, um eine Reihe von Szenarien nachzuahmen, in denen LLMs in der realen Welt eingesetzt werden könnten, einschließlich des Surfens im Web, des Lesens von E-Mails oder Kalender-Apps und des Bearbeitens von Code.

Wenn GPT-Red eine neue Art von Angriff fand, erkundete es mehrere verschiedene Versionen davon, um die effizienteste für bestimmte Szenarien zu finden. „Im Vergleich zu einem menschlichen Red-Teamer ist das Modell sehr, sehr gut darin, genau das zu finden, was funktionieren wird, genau das, was am effektivsten ist“, sagt Hunn. „Es ist äußerst beharrlich darin, einen Angriff, den es entdeckt hat, weiterzuverfolgen.“

Insbesondere behauptet OpenAI, dass GPT-Red eine Art von Prompt-Injection-Angriff gefunden hat, den die Forscher zuvor nicht gesehen hatten und den sie als gefälschte Gedankenkette bezeichnen. Eine Gedankenkette ist eine Art Tagebuch, in dem ein LLM sich Notizen macht und Teilergebnisse festhält, während es Probleme durcharbeitet. GPT-Red fand einen Weg, einen gefälschten Eintrag in die Gedankenkette eines anderen Modells einzufügen, der dieses Modell dazu verleiten würde, auf gefälschte Informationen zu reagieren.

„Es ist, als würde ich dir sagen, dass 1+1=3 ist und dass du das bereits überprüft hast“, sagt Chris Choquette-Choo, ein weiterer Forschungswissenschaftler im Team. „Das Modell denkt: ‚Oh, okay, natürlich‘, und spuckt einfach 3 aus.“

Jessica Ji, eine leitende Forschungsanalystin, die an der Georgetown University am Center for Security and Emerging Technology (CSET) an KI-Sicherheit arbeitet, hält die von OpenAI verwendete Self-Play-Schleife für einen guten Ansatz. „Die Ergebnisse sehen sehr vielversprechend aus“, sagt sie.

OpenAI testete, wie gut GPT-Red als Angreifer war, indem es ein Experiment aus dem Jahr 2025 wiederholte, bei dem menschliche Red-Teamer versuchten, Schwachstellen in einer früheren Version von GPT-5 zu finden. Als GPT-Red