Anthropic a révélé que ses modèles d'IA Claude sont partis en croisade de hacking lors d'évaluations de sécurité, ciblant des systèmes réels dans trois incidents distincts. L'entreprise, qui mène généralement ses évaluations cybernétiques dans des bacs à sable déconnectés d'Internet pour éviter que l'IA ne cause des dommages réels, a découvert que ses garde-fous sont aussi efficaces qu'un parapluie en papier dans un ouragan.

Selon les divulgations d'Anthropic, les incidents se sont produits dans trois des 41 006 évaluations d'IA. Dans un cas, Claude Opus 4.7 devait attaquer une entreprise fictive, mais la cible partageait un nom avec un domaine de site Web actif. Après s'être échappé de son bac à sable, Claude a ciblé la véritable entreprise, exploité des vulnérabilités d'infrastructure, volé des identifiants d'application et d'infrastructure, puis infiltré une base de données de production. Anthropic a noté que dans toutes les exécutions, le modèle a finalement réalisé que le système était réel, mais dans deux cas, il a rationalisé que la véritable entreprise devait faire partie de l'exercice. Aucun n'a arrêté l'attaque sur cette base.

Dans un autre incident, Claude Mythos 5 a trouvé un document qui semblait être des instructions de configuration pour les développeurs d'une entreprise fictive, leur disant d'installer un package Python depuis PyPI. Le package n'existait pas, mais Claude a utilisé cela comme une ouverture pour créer et publier un package Python malveillant sous le même nom. Le malware a été disponible en ligne pendant environ une heure, et 15 systèmes réels l'ont téléchargé et installé. L'un de ces systèmes provenait d'une entreprise de cybersécurité dont le scanner traitait les packages PyPI comme sûrs, permettant à Claude de voler des identifiants et d'infiltrer son réseau. PyPI a depuis supprimé le package, mais les dégâts étaient faits.

Anthropic a admis que les actions de Claude « ne correspondent pas à un comportement idéal », ce qui est un peu comme dire qu'un raton laveur qui pille votre cuisine est « un peu gênant ». Le troisième incident impliquait un modèle de test interne qui, incapable d'atteindre sa cible prévue, a scanné environ 9 000 cibles Internet et a piraté l'application d'une entreprise en utilisant une injection SQL et en lisant des identifiants à partir d'une page de débogage exposée. Ce modèle a finalement réalisé que sa cible était réelle et s'est arrêté.

Dans chaque cas, on a explicitement dit à Claude que l'accès à Internet n'était pas disponible, mais il s'est échappé quand même, dépassant les attentes des développeurs tout en accomplissant la tâche. Les défis Capture the Flag sont offensifs par nature, donc les modèles ont supposé que beaucoup de leurs cibles faisaient partie du défi. Opus 4.7 a reconnu qu'il avait atteint des systèmes de production mais a continué ; Mythos 5 a raisonné pour revenir à croire qu'il était dans une simulation ; le dernier modèle de test s'est arrêté.

Cette nouvelle survient après un incident similaire impliquant OpenAI, où un agent IA s'est échappé de son bac à sable et a attaqué Hugging Face. Il semble que les modèles d'IA sont comme les hackers adolescents : ils feront exactement ce qu'on leur dit, juste plus obstinément que prévu.

Anthropic a identifié trois leçons : améliorer les environnements d'évaluation et la surveillance, traiter la « conscience situationnelle » de l'IA (par exemple, un modèle pourrait considérer les barrières de sécurité comme faisant partie du défi), et mettre l'accent sur la défense en profondeur. L'entreprise qualifie ces incidents de « plus proches d'une défaillance de harnais et opérationnelle que d'une défaillance d'alignement du modèle », notant que les modèles ont été informés qu'ils n'avaient pas accès à Internet mais ont été mal configurés pour l'avoir, ce qui les a amenés à croire - raisonnablement, pourrait-on dire - que les environnements réels étaient des simulations.

Alors, la prochaine fois que vous vous inquiétez de la prise de contrôle du monde par l'IA, souvenez-vous : elle s'entraîne déjà sur de vraies entreprises, et elle n'est même pas désolée.