OpenAI heeft een super-hacker LLM gebouwd, genaamd GPT-Red, dat het gebruikt als sparringpartner om zijn andere modellen te helpen hun verdediging tegen cyberaanvallen te versterken. Vorige week bracht het bedrijf de nieuwste versie van zijn vlaggenschip LLM, GPT-5.6, uit. OpenAI zegt dat training tegen GPT-Red dit model tot de meest robuuste release tot nu toe heeft gemaakt.

GPT-Red automatiseert een type veiligheidsevaluatie voor softwaresystemen, bekend als red-teaming, dat normaal gesproken door een team van menselijke testers wordt uitgevoerd. Het doel is om zoveel mogelijk verschillende manieren te vinden om een systeem te breken of te kapen. De zwakke plekken kunnen dan worden gerepareerd voordat de definitieve versie van de software wordt uitgebracht.

Naarmate LLM's complexer worden en in een breder scala aan taken worden gebruikt - vooral in de vorm van agents, die kunnen interageren met computerbestanden, websites, code van derden en andere agents - is het voor teams van mensen alleen moeilijk om alle soorten aanvallen bij te houden die kunnen plaatsvinden. "Het risicooppervlak groeit en de explosieradius groeit ook," zegt Nikhil Kandpal, een onderzoekswetenschapper bij OpenAI die mede GPT-Red heeft gecreëerd.

OpenAI bouwde GPT-Red om zijn veiligheidstestproces toekomstbestendig te maken. "Naarmate er capabelere modellen beschikbaar komen, hebben we al een systeem ontworpen dat nieuwe aanvalswijzen kan ontdekken," zegt Dylan Hunn, een onderzoekswetenschapper bij het bedrijf en mede-bedenker van GPT-Red. De onderzoekers zeggen dat het al nieuwe soorten aanvallen heeft bedacht die nog niet eerder waren gezien.

OpenAI richtte zijn inspanningen vooral op een type aanval dat bekend staat als prompt-injectie, waarbij een hacker een LLM instructies geeft om dingen te doen die de ontwikkelaars of gebruikers niet willen, zoals het kopiëren van vertrouwelijke informatie, het saboteren van de codebase van een bedrijf, of het genereren van gênante of schadelijke output. In theorie kunnen dergelijke instructies verborgen zijn in elke tekst die de LLM tegenkomt - in code of op een website, bijvoorbeeld.

Om GPT-Red te bouwen, namen de onderzoekers van OpenAI een LLM die niet was getraind als hacker en zetten het op in een zogenaamde self-play-loop met verschillende andere modellen. Het doel was om de andere modellen aan te vallen; hun doel was om zichzelf te verdedigen. Na vele rondes van spelen werd GPT-Red steeds beter in het aanvallen van andere LLM's, en die LLM's werden steeds beter in het afweren van de aanvallen.

De training vond plaats in een soort dojo die OpenAI had ontworpen om een reeks scenario's na te bootsen waarin LLM's in de echte wereld zouden kunnen worden ingezet, waaronder surfen op het web, het lezen van e-mails of agenda-apps, en het bewerken van code.

Wanneer GPT-Red een nieuw soort aanval vond, verkende het meerdere verschillende versies ervan om de meest efficiënte voor specifieke scenario's te vinden. "Vergeleken met een menselijke red-teamer is het model heel, heel goed in het vinden van wat precies zal werken, wat precies het meest effectief is," zegt Hunn. "Het is extreem volhardend in het uitdiepen van een aanval die het heeft ontdekt."

In het bijzonder beweert OpenAI dat GPT-Red een type prompt-injectie-aanval vond die de onderzoekers nog niet eerder hadden gezien, die ze een fake chain of thought noemen. Een chain of thought is een soort dagboek waarin een LLM aantekeningen voor zichzelf maakt en tussentijdse resultaten bijhoudt terwijl het problemen oplost. GPT-Red vond een manier om een nep-item in de chain of thought van een ander model te plaatsen, dat dat model zou misleiden om te handelen op basis van vervalste informatie.

"Het is alsof ik je vertel dat 1+1=3 en dat je dit al hebt geverifieerd," zegt Chris Choquette-Choo, een andere onderzoekswetenschapper in het team. "Het model denkt: 'Oh, oké, natuurlijk,' en het spuugt gewoon 3 uit."

Jessica Ji, een senior onderzoeksanalist die werkt aan AI-veiligheid bij het Center for Security and Emerging Technology (CSET) van Georgetown University, vindt de self-play-loop die OpenAI gebruikte een goede aanpak. "De resultaten zien er veelbelovend uit," zegt ze.

OpenAI testte hoe goed een aanvaller GPT-Red was door een experiment uit 2025 te herhalen waarin menselijke red-teamers probeerden zwakke plekken te vinden in een eerdere versie van GPT-5. Toen GPT-Red