OpenAI har byggt en LLM-superhackare som kallas GPT-Red som de använder som en sparringpartner för att hjälpa sina andra modeller att förbättra sina försvar mot cyberattacker. Förra veckan släppte företaget den senaste versionen av sin flaggskepps-LLM, GPT-5.6. OpenAI säger att träning mot GPT-Red gjorde modellen till deras mest robusta släpp hittills.

GPT-Red automatiserar en typ av säkerhetsutvärdering för mjukvarusystem som kallas red-teaming, vilket vanligtvis görs av ett team av mänskliga testare. Målet är att hitta så många olika sätt som möjligt att bryta eller kapa ett system. De svaga punkterna kan sedan lappas innan den slutliga versionen av mjukvaran släpps.

I takt med att LLM:er blir mer komplexa och används i en bredare variation av uppgifter – särskilt i form av agenter, som kan interagera med datorfiler, webbplatser och tredjepartskod samt andra agenter – är det svårt för team av människor att hålla jämna steg med alla typer av attacker som kan inträffa. ”Riskyta växer och sprängradien växer också”, säger Nikhil Kandpal, forskare på OpenAI som var med och skapade GPT-Red.

OpenAI byggde GPT-Red för att framtidssäkra sin säkerhetstestningsprocess. ”När mer kapabla modeller blir tillgängliga kommer vi redan att ha designat systemet som kan upptäcka nya attackmetoder”, säger Dylan Hunn, forskare på företaget och medskapare av GPT-Red. Forskarna säger att det redan har kommit med nya typer av attacker som inte setts tidigare.

OpenAI fokuserade större delen av sina ansträngningar på en typ av attack som kallas prompt injection, där en hackare smyger in instruktioner till en LLM för att få den att göra saker som dess utvecklare eller användare inte vill, som att kopiera konfidentiell information, sabotera ett företags kodbas eller generera pinsamma eller skadliga utdata. I teorin kan sådana instruktioner döljas i vilken text som helst som LLM:en kan stöta på – i kod eller på en webbplats, till exempel.

För att bygga GPT-Red tog OpenAIs forskare en LLM som inte hade tränats som hackare och satte upp den i vad som kallas en självspelsloop med flera andra modeller. Dess mål var att försöka attackera de andra modellerna; deras mål var att försöka försvara sig. Över många omgångar av spel blev GPT-Red bättre och bättre på att attackera andra LLM:er, och dessa LLM:er blev bättre och bättre på att avvärja attackerna.

Träningen ägde rum i en slags dojo som OpenAI hade designat för att efterlikna en rad scenarier där LLM:er kan användas i verkligheten, inklusive att surfa på webben, läsa e-post eller kalenderappar och redigera kod.

När GPT-Red hittade en ny typ av attack utforskade den flera olika versioner av den för att hitta den mest effektiva för specifika scenarier. ”Jämfört med en mänsklig red-teamer är modellen väldigt, väldigt bra på att hitta exakt vad som kommer att fungera, exakt vad som är mest effektivt”, säger Hunn. ”Den är extremt ihärdig när det gäller att borra ner i en attack som den har upptäckt.”

Särskilt hävdar OpenAI att GPT-Red hittade en typ av prompt injection-attack som forskarna inte hade sett tidigare, som de kallar en falsk tankekedja. En tankekedja är en slags dagbok där en LLM gör anteckningar till sig själv och håller reda på delresultat när den arbetar igenom problem. GPT-Red hittade ett sätt att infoga en falsk post i en annan modells tankekedja som skulle lura den modellen att agera på förfalskad information.

”Det är som om jag sa till dig att 1+1=3 och att du redan har verifierat detta”, säger Chris Choquette-Choo, en annan forskare på teamet. ”Modellen tänker, ’Åh, okej, självklart’, och den spottar bara ut 3.”

Jessica Ji, senior forskningsanalytiker som arbetar med AI-säkerhet vid Georgetown Universitys Center for Security and Emerging Technology (CSET), tycker att självspelsloopen som OpenAI använde är ett bra tillvägagångssätt. ”Resultaten ser mycket lovande ut”, säger hon.

OpenAI testade hur bra en angripare GPT-Red var genom att köra om ett experiment från 2025 där mänskliga red-teamers försökte hitta svagheter i en tidigare version av GPT-5. När GPT-Red