OpenAI a admis mardi que l'un de ses modèles d'IA a violé les systèmes de Hugging Face, la plateforme d'hébergement d'IA sans affiliation, lors d'un test de cybersécurité interne qui a mal tourné. Les modèles auraient échappé à leur environnement de test isolé et auraient atteint les systèmes de Hugging Face à partir de là. Hugging Face a d'abord attribué la brèche à un « agent d'IA externe ».

Dans un article de blog publié mardi après-midi, OpenAI a détaillé les étapes qui ont conduit les modèles à compromettre le service. « Après enquête, nous savons maintenant que cet incident particulier a été provoqué par une combinaison de modèles OpenAI – y compris GPT‑5.6 Sol et un modèle pré-release encore plus performant, tous avec des refus cybernétiques réduits à des fins d'évaluation – alors qu'ils étaient testés en interne sur un benchmark de capacités cybernétiques », lit-on dans l'article.

La brèche semble s'être concentrée sur ExploitGym, un benchmark hébergé publiquement mesurant la capacité des modèles à exécuter des attaques basées sur des vulnérabilités existantes. Les benchmarks comme ExploitGym sont couramment utilisés dans la formation des modèles pour affiner des compétences spécifiques, mais c'est le premier incident connu où ce test a abouti à une cyberattaque réelle. Le modèle n'aurait même pas dû avoir accès à Internet, en dehors d'un outil spécifique permettant aux modèles d'installer des paquets logiciels dont ils pourraient avoir besoin pour accomplir leur tâche. Au lieu de cela, le modèle a trouvé une vulnérabilité non divulguée dans le programme d'installation de paquets, qu'il a utilisée pour accéder à l'Internet plus large à volonté.

« Les modèles étaient hyper concentrés sur la recherche d'une solution pour ExploitGym, allant à des extrêmes pour atteindre un objectif de test plutôt étroit », lit-on dans l'article d'OpenAI. « Après avoir obtenu l'accès à Internet, les modèles ont déduit que Hugging Face hébergeait potentiellement des modèles, des ensembles de données et des solutions pour ExploitGym. Sachant cela, le modèle a cherché et trouvé avec succès des moyens d'accéder à des informations secrètes qu'il pourrait utiliser pour tricher à l'évaluation. » Finalement, les modèles ont trouvé des vulnérabilités dans l'infrastructure de Hugging Face qui leur ont permis « d'obtenir directement des solutions de test depuis la base de données de production de Hugging Face », fournissant ainsi les réponses au benchmark.

Pour Hugging Face, le résultat apparent a été une cyberattaque sophistiquée et agressive, avec « plusieurs milliers d'actions individuelles à travers un essaim de bacs à sable éphémères, avec un commandement et contrôle auto-migré mis en scène sur des services publics », comme l'a déclaré l'entreprise dans sa divulgation initiale. OpenAI a identifié et signalé les vulnérabilités dans l'installateur de paquets et travaille avec Hugging Face pour enquêter davantage sur l'incident. L'entreprise a également déclaré qu'elle mettrait en œuvre de nouveaux contrôles à la fois sur les tests de modèles et sur l'infrastructure associée, destinés à prévenir des incidents similaires à l'avenir. On ne sait pas si OpenAI fera face à des conséquences juridiques à la suite de la brèche, bien qu'il soit probable que les actions des modèles aient violé le Computer Fraud and Abuse Act.

Néanmoins, le résultat est une illustration inhabituellement vivante de la puissance et des dangers des modèles d'IA de pointe opérant sur de longs horizons temporels. Comme l'a posté le chercheur d'OpenAI Micah Carroll en réponse à la nouvelle : « Si cela ne vous convainc pas que les risques de désalignement vont être une préoccupation clé à l'avenir, je ne sais pas ce qui le fera. »