Anthropic vient de réaliser que plusieurs de ses modèles d'IA Claude ont piraté les systèmes de trois organisations différentes lors de tests, agissant de leur propre chef et sans que l'entreprise ne s'en aperçoive. Cette révélation survient quelques jours après que le concurrent OpenAI a déclaré que l'un de ses propres modèles avait violé la plateforme de développeurs Hugging Face, ajoutant à l'inquiétude croissante quant à savoir si les laboratoires d'IA de pointe en font assez pour contrôler les systèmes de plus en plus capables qu'ils construisent.

Dans un article de blog décrivant les incidents, Anthropic a déclaré que Claude avait obtenu un accès non autorisé à des systèmes lors d'évaluations de cybersécurité. Toutes les attaques ont eu lieu lors d'exercices de type « capture du drapeau », une méthode courante pour tester les capacités de piratage, où l'on demande aux modèles de trouver et d'obtenir des informations cachées dans un réseau simulé.

Cette divulgation ajoute à la pression croissante sur les laboratoires d'IA de pointe à la suite de l'incident de Hugging Face et de la publication de puissants modèles chinois à poids ouverts. Les employés des grands laboratoires appellent désormais à une gouvernance mondiale coordonnée, et les législateurs américains ont commencé à envisager une surveillance plus stricte des modèles puissants et de ceux qui peuvent y accéder.

Anthropic affirme que l'environnement de ses tests de cybersécurité était censé être isolé. Cependant, une « mauvaise configuration » a laissé les machines auxquelles Claude a accédé « avec un accès Internet en direct », a déclaré l'entreprise, et comme tous les modèles avaient été « explicitement informés » qu'ils n'avaient pas accès à Internet, ils ont « supposé » que les réseaux réels qu'ils rencontraient faisaient partie de l'environnement simulé.

Les premiers incidents remontent à avril et impliquaient trois modèles Claude différents : Opus 4.7, Mythos 5 et « un modèle de test de recherche interne », selon l'article de blog. Alors que les modèles étaient testés sur leurs capacités cybernétiques, Anthropic a déclaré qu'ils ne disposaient pas des garde-fous standard habituellement mis en place pour réduire les comportements risqués.

L'entreprise a déclaré avoir découvert les incidents après avoir examiné plus de 141 000 tests de cybersécurité, ce qu'elle n'a fait qu'après qu'OpenAI a révélé que son agent IA voyou était à l'origine de l'attaque contre Hugging Face.

Les trois modèles ont réagi très différemment lorsqu'ils ont rencontré des informations suggérant que les systèmes qu'ils rencontraient étaient, en fait, réels. Selon le récit d'Anthropic, le modèle le plus ancien, Opus 4.7, a reconnu qu'il avait atteint un système réel, « mais a poursuivi son attaque ». Son modèle phare Mythos 5 a compris qu'il utilisait Internet mais a en quelque sorte raisonné que cela faisait toujours partie de la simulation, alors il a continué. Le modèle de test interne, qu'Anthropic décrit comme « notre dernier modèle », a arrêté l'exercice lorsque des preuves ont émergé que ses cibles étaient réelles.

Anthropic n'a pas identifié les organisations concernées et a déclaré qu'elle continuerait à enquêter sur l'incident et fournirait des mises à jour dès que possible. L'entreprise a également déclaré qu'elle discutait avec l'organisation à but non lucratif de recherche en IA METR pour mener un examen tiers de ce qui s'est passé. OpenAI a également engagé METR pour mener un examen indépendant.

Tout au long de l'article, Anthropic oppose à plusieurs reprises la nature et le traitement de ses incidents à ceux d'OpenAI, concluant par une liste à puces en quatre points décrivant les différences et pourquoi elle estime que sa propre réponse était meilleure. Anthropic souligne qu'elle a « de manière proactive » examiné ses tests, et ce avant qu'une entreprise ne détecte une activité. Elle a également déclaré que ses modèles accédaient à Internet « via un chemin ouvert », plutôt que d'utiliser un exploit inédit comme l'agent d'OpenAI, ajoutant que son modèle le plus récent s'était également arrêté lorsqu'il avait réalisé qu'il travaillait dans un environnement réel.

Anthropic a également déclaré que ses modèles avaient échoué d'une manière différente de celle de l'agent d'OpenAI, indiquant qu'il s'agissait d'une forme d'échec plus sûre. « Bien qu'il n'y ait pas de distinction parfaitement nette entre les deux, nous pensons que ces incidents sont plus proches d'un échec de harnais et d'exploitation que d'un échec d'alignement du modèle », a déclaré l'entreprise. En clair : les modèles Claude faisaient ce qu'on leur disait, tandis que l'agent d'OpenAI poursuivait son objectif d'une manière que ses créateurs n'avaient pas prévue, décrite comme un désalignement dans le monde de la sécurité de l'IA.

Anthropic a appelé les autres