Le 16 juillet, le site web de la communauté IA Hugging Face a signalé avoir été ciblé par « un système d'agent IA autonome » d'origine inconnue qui a déversé un torrent de trafic sur son domaine, inondant ses journaux de sécurité avec plus de 17 000 événements, dont certains ont finalement réussi à exfiltrer des informations secrètes stockées dans ses bases de données.

Selon Hugging Face, l'attaquant a obtenu « un accès non autorisé à un ensemble limité de jeux de données internes et à plusieurs identifiants utilisés par nos services » et semblait être « exécuté par un framework d'agent autonome (apparemment construit sur un harnais de recherche en sécurité agentique - le LLM utilisé n'est toujours pas connu) ».

Cinq jours plus tard, le 21 juillet, OpenAI a avancé pour revendiquer la responsabilité de l'attaque, et l'enfer s'est déchaîné (y compris des rapports d'autres organisations ciblées dans le cadre de l'incident). Les médias ont répondu avec une gamme d'histoires alarmistes qui donnaient essentiellement l'impression que ChatGPT était devenu voyou et avait décidé, de son propre chef et avec malice, d'attaquer les systèmes de Hugging Face.

Puis hier, ajoutant de l'huile sur le feu, Anthropic a fait une divulgation similaire concernant ses modèles attaquant par inadvertance d'autres organisations dans le cadre de ses tests de sécurité en cours.

Comme je l'ai noté dans ma couverture de la divulgation d'OpenAI, Hugging Face avait raison en ce sens qu'il s'agissait d'un agent sous la direction d'un framework de recherche en sécurité autonome. Mais, des humains étaient incontestablement dans la boucle - et au moins une partie du comportement de l'agent aurait dû être anticipée.

Il est important de noter que ce n'est pas ChatGPT lui-même qui était responsable de l'attaque, comme certains commentateurs l'ont insinué. Plutôt, l'attaque était attribuable à un agent sous la direction des chercheurs en sécurité IA d'OpenAI, qui, dans un environnement soi-disant isolé d'Internet, l'ont délibérément provisionné pour tenter une série d'exploits dans le cadre d'un test de sécurité IA. Comme cela arrive souvent dans les laboratoires de divers modèles de pointe, les chercheurs en sécurité IA tentaient d'évaluer les capacités des derniers grands modèles de langage (LLM) d'OpenAI.

L'« incident cybernétique sans précédent » (comme l'a appelé OpenAI) a été largement décrit comme un agent s'échappant de son enceinte théoriquement sécurisée et semant le chaos sur les systèmes de Hugging Face. De telles enceintes sont parfois discutées dans les cercles techniques comme des « bacs à sable » - même la divulgation d'OpenAI fait référence à un « environnement de bac à sable ». Cependant, en utilisant cette phrase, mes sources ont suggéré que l'environnement pourrait simplement avoir été un pare-feu configuré pour émuler un bac à sable plutôt qu'une véritable solution de bac à sable tierce comme Blaxel, Daytona, E2B ou Modal. OpenAI n'a pas encore divulgué les détails de la solution qu'il utilisait ou son fournisseur.

Tout ce discours sur les agents et les évasions de bac à sable a incité mon rédacteur en chef chez ZDNET à demander : « Comment un agent s'échappe-t-il d'un bac à sable, de toute façon, et peut-on l'empêcher de se reproduire ? » À la recherche d'une réponse, j'ai contacté OpenAI et Hugging Face. Ni l'un ni l'autre n'a répondu. Mais entre les divulgations publiques des deux entreprises et mes autres sources, il y a suffisamment d'informations pour commencer à théoriser sur la façon dont une telle « évasion » pourrait se produire.

Il y a une grande différence entre la malice et l'agentivité. Bien que l'attaque ait été sans conteste une intrusion malveillante, l'agent impliqué lui-même ne nourrissait aucune malice. Il ne s'est pas réveillé un matin et a décidé d'attaquer les systèmes de Hugging Face. Au lieu de cela, il a été doté de l'agentivité pour faire très froidement tout ce qu'il a fait - entreprendre un test de sécurité, sortir de ses limites, choisir des cibles et exploiter ces cibles - par des humains.

Une partie de cette agentivité était délibérée, et une partie était héritée des puissants LLM que le personnel de test de sécurité IA d'OpenAI testait à l'époque. De plus, dans le cas de l'utilisation par OpenAI de la solution de test IA open source ExploitGym pour mener cette recherche de sécurité particulière, une partie de cette agentivité était le résultat de vulnérabilités auparavant non découvertes à la fois dans l'« environnement de bac à sable » tiers censé mettre ces tests en quarantaine de manière sécurisée, ainsi que dans des parties de Hug