OpenAI a construit un LLM super-hacker appelé GPT-Red qu'elle utilise comme partenaire d'entraînement pour aider ses autres modèles à renforcer leurs défenses contre les cyberattaques. La semaine dernière, l'entreprise a publié la dernière version de son LLM phare, GPT-5.6. OpenAI affirme que l'entraînement contre GPT-Red a fait de ce modèle sa version la plus robuste à ce jour.

GPT-Red automatise un type d'évaluation de sécurité pour les systèmes logiciels connu sous le nom de red-teaming, généralement effectué par une équipe de testeurs humains. L'objectif est de trouver autant de façons différentes de casser ou de détourner un système que possible. Les points faibles peuvent ensuite être corrigés avant la publication de la version finale du logiciel.

Alors que les LLM deviennent plus complexes et sont utilisés dans une variété croissante de tâches - surtout sous forme d'agents, qui peuvent interagir avec des fichiers informatiques, des sites web, du code tiers ainsi que d'autres agents - il est difficile pour des équipes humaines seules de suivre tous les types d'attaques possibles. « La surface de risque s'agrandit et le rayon d'explosion aussi », déclare Nikhil Kandpal, chercheur chez OpenAI et co-créateur de GPT-Red.

OpenAI a construit GPT-Red pour pérenniser son processus de test de sécurité. « À mesure que des modèles plus performants deviennent disponibles, nous aurons déjà conçu le système capable de découvrir de nouveaux modes d'attaque », explique Dylan Hunn, chercheur chez OpenAI et également co-créateur de GPT-Red. Les chercheurs affirment qu'il a déjà trouvé de nouveaux types d'attaques jamais vus auparavant.

OpenAI a concentré la plupart de ses efforts sur un type d'attaque appelé injection de prompt, où un pirate glisse des instructions à un LLM pour lui faire faire des choses que ses développeurs ou utilisateurs ne veulent pas, comme copier des informations confidentielles, saboter la base de code d'une entreprise, ou générer des résultats embarrassants ou nuisibles. En théorie, de telles instructions peuvent être cachées dans n'importe quel texte que le LLM pourrait rencontrer - dans du code ou sur un site web, par exemple.

Pour construire GPT-Red, les chercheurs d'OpenAI ont pris un LLM qui n'avait pas été entraîné comme hacker et l'ont placé dans ce qu'on appelle une boucle d'auto-jeu avec plusieurs autres modèles. Son objectif était d'essayer d'attaquer les autres modèles ; leur objectif était d'essayer de se défendre. Au fil de nombreuses parties, GPT-Red est devenu de plus en plus performant pour attaquer d'autres LLM, et ces LLM sont devenus de plus en plus performants pour repousser les attaques.

L'entraînement s'est déroulé dans une sorte de dojo qu'OpenAI avait conçu pour imiter une gamme de scénarios dans lesquels les LLM pourraient être déployés dans le monde réel, notamment la navigation sur le web, la lecture d'e-mails ou d'applications de calendrier, et l'édition de code.

Lorsque GPT-Red trouvait un nouveau type d'attaque, il explorait plusieurs versions différentes pour trouver la plus efficace pour des scénarios spécifiques. « Comparé à un red-teamer humain, le modèle est très, très bon pour trouver exactement ce qui fonctionnera, exactement ce qui est le plus efficace », déclare Hunn. « Il est extrêmement persistant pour creuser une attaque qu'il a découverte. »

En particulier, OpenAI affirme que GPT-Red a trouvé un type d'attaque par injection de prompt que les chercheurs n'avaient pas vu auparavant, qu'ils appellent une fausse chaîne de pensée. Une chaîne de pensée est une sorte de journal dans lequel un LLM prend des notes pour lui-même et suit les résultats partiels lorsqu'il résout des problèmes. GPT-Red a trouvé un moyen d'insérer une fausse entrée dans la chaîne de pensée d'un autre modèle, ce qui tromperait ce modèle en lui faisant agir sur des informations falsifiées.

« C'est comme si je vous disais que 1+1=3 et que vous avez déjà vérifié cela », explique Chris Choquette-Choo, un autre chercheur de l'équipe. « Le modèle se dit : 'Oh, d'accord, bien sûr', et il crache simplement 3. »

Jessica Ji, analyste de recherche senior qui travaille sur la sécurité de l'IA au Center for Security and Emerging Technology (CSET) de l'Université de Georgetown, pense que la boucle d'auto-jeu utilisée par OpenAI est une bonne approche. « Les résultats semblent très prometteurs », dit-elle.

OpenAI a testé l'efficacité de GPT-Red en tant qu'attaquant en réexécutant une expérience de 2025 dans laquelle des red-teameurs humains tentaient de trouver des faiblesses dans une version antérieure de GPT-5. Lorsque GPT-Red