OpenAI ha costruito un LLM super-hacker chiamato GPT-Red che usa come partner di allenamento per aiutare i suoi altri modelli a potenziare le difese contro gli attacchi informatici. La scorsa settimana l'azienda ha rilasciato l'ultima versione del suo LLM di punta, GPT-5.6. OpenAI afferma che addestrarlo contro GPT-Red ha reso il modello il suo rilascio più robusto finora.
GPT-Red automatizza un tipo di valutazione della sicurezza per sistemi software noto come red-teaming, che di solito viene eseguito da un team di tester umani. L'obiettivo è trovare quanti più modi possibili per rompere o dirottare un sistema. I punti deboli possono poi essere corretti prima del rilascio della versione finale del software.
Man mano che gli LLM diventano più complessi e vengono utilizzati in una varietà più ampia di compiti - specialmente sotto forma di agenti, che possono interagire con file informatici, siti web e codice di terze parti oltre che con altri agenti - è difficile per i team di persone da soli tenere il passo con tutti i tipi di attacchi che potrebbero verificarsi. "La superficie di rischio cresce e anche il raggio d'esplosione cresce", dice Nikhil Kandpal, uno scienziato ricercatore di OpenAI che ha co-creato GPT-Red.
OpenAI ha costruito GPT-Red per rendere a prova di futuro il suo processo di test di sicurezza. "Man mano che diventano disponibili modelli più capaci, avremo già progettato il sistema in grado di scoprire nuove modalità di attacco", dice Dylan Hunn, uno scienziato ricercatore dell'azienda e co-creatore di GPT-Red. I ricercatori dicono che ha già escogitato nuovi tipi di attacco mai visti prima.
OpenAI ha concentrato la maggior parte dei suoi sforzi su un tipo di attacco noto come prompt injection, in cui un hacker infila istruzioni a un LLM per fargli fare cose che i suoi sviluppatori o utenti non vogliono, come copiare informazioni riservate, sabotare la base di codice di un'azienda o generare output imbarazzanti o dannosi. In teoria, tali istruzioni possono essere nascoste in qualsiasi testo che l'LLM potrebbe incontrare - nel codice o su un sito web, per esempio.
Per costruire GPT-Red, i ricercatori di OpenAI hanno preso un LLM che non era stato addestrato come hacker e lo hanno impostato in quello che è noto come un ciclo di auto-gioco con diversi altri modelli. Il suo obiettivo era cercare di attaccare gli altri modelli; il loro obiettivo era cercare di difendersi. Dopo molti round di gioco, GPT-Red è diventato sempre più bravo ad attaccare altri LLM, e quegli LLM sono diventati sempre più bravi a respingere gli attacchi.
L'addestramento è avvenuto in una specie di dojo che OpenAI aveva progettato per imitare una serie di scenari in cui gli LLM potrebbero essere distribuiti nel mondo reale, inclusa la navigazione sul web, la lettura di email o app di calendario e la modifica del codice.
Quando GPT-Red trovava un nuovo tipo di attacco, esplorava più versioni diverse per trovare quella più efficiente per scenari specifici. "Rispetto a un red-teamer umano, il modello è molto, molto bravo a trovare esattamente cosa funzionerà, esattamente cosa è più efficace", dice Hunn. "È estremamente persistente nell'approfondire un attacco che ha scoperto."
In particolare, OpenAI sostiene che GPT-Red ha trovato un tipo di attacco di prompt injection che i ricercatori non avevano mai visto prima, che chiamano fake chain of thought. Una chain of thought è una specie di diario in cui un LLM prende appunti per sé e tiene traccia dei risultati parziali mentre elabora i problemi. GPT-Red ha trovato un modo per inserire una voce falsa nella chain of thought di un altro modello che avrebbe indotto quel modello ad agire su informazioni contraffatte.
"È come se ti dicessi che 1+1=3 e che hai già verificato questo", dice Chris Choquette-Choo, un altro scienziato ricercatore del team. "Il modello fa, 'Oh, okay, certo', e sputa fuori 3."
Jessica Ji, analista di ricerca senior che lavora sulla sicurezza dell'IA presso il Center for Security and Emerging Technology (CSET) della Georgetown University, pensa che il ciclo di auto-gioco usato da OpenAI sia un buon approccio. "I risultati sembrano molto promettenti", dice.
OpenAI ha testato quanto fosse bravo GPT-Red come attaccante ripetendo un esperimento del 2025 in cui red-teamers umani cercavano di trovare debolezze in una versione precedente di GPT-5. Quando GPT-Red