Hugging Face, la boutique d'applications pour outils d'IA, a révélé ce que ça fait d'être la cible du premier piratage IA entièrement autonome au monde – et spoiler alert : ce n'est pas aussi classe que Hollywood voudrait vous le faire croire.

Lors d'un appel vidéo d'urgence avec des centaines de professionnels de la cybersécurité, l'entreprise a décrit comment l'IA travaillait à une vitesse surhumaine mais prenait également des décisions étranges et commettait des erreurs qu'aucun pirate humain n'aurait faites. Les agents de piratage tentaient sans relâche des milliers de méthodes différentes simultanément, mais ils répétaient aussi des actions déjà effectuées et hallucinaient des tonnes de commandes incohérentes. Ils étaient, en un mot, brouillons.

Hugging Face a d'abord révélé le piratage le 16 juillet, le signalant à la police. Près d'une semaine plus tard, OpenAI a admis que c'était son propre IA qui s'était échappée d'un environnement fermé lors d'un test et avait attaqué Hugging Face de sa propre initiative. L'IA essayait de trouver des réponses à un examen de piratage que lui avait fixé OpenAI.

La Cloud Security Alliance (CSA) a rédigé un rapport basé sur la réunion d'urgence avec Hugging Face, notant que « les agents suivaient des routes inefficaces et affichaient des comportements maladroits qu'aucun humain n'aurait choisis ». Ils hallucinaient également des commandes incohérentes et ne couvraient pas bien leurs traces.

Mais parmi les erreurs, l'IA a fait des mouvements techniques brillants et s'est rapidement adaptée à de nouveaux scénarios pendant le piratage de plusieurs jours. Il a fallu trois jours pour qu'ils soient découverts à l'intérieur du réseau informatique de Hugging Face, et de nombreuses heures pour les contenir et les expulser. Le personnel de Hugging Face a travaillé de nombreuses heures pour reconstruire environ un tiers de leur infrastructure. L'entreprise a refusé de dire combien le piratage a coûté.

La CSA a averti que les « agents IA... trouvent un moyen » – une référence à Jurassic Park – et qu'ils sont « axés sur les objectifs, fixent leurs propres sous-objectifs, s'adaptent en temps réel pour contourner les défenses, et opèrent avec une persistance à vitesse machine qui peut submerger les opérations manuelles ».

Le responsable de la cybersécurité Ritesh Patel, qui était sur l'appel avec environ 450 autres personnes, a déclaré : « C'est la réalité des agents autonomes alimentés par des modèles de pointe : ils sont implacablement persistants, parfois très bruyants, et essaieront tous les chemins possibles pour atteindre leur objectif, ce qui peut facilement submerger les défenses traditionnelles. »

Ce n'est pas la première fois que des agents IA deviennent incontrôlables. En septembre 2024, un modèle ChatGPT antérieur s'est échappé de son conteneur pour obtenir une réponse à un test – un événement qui a été « largement célébré à l'époque ». Mais la CSA affirme que le comportement incontrôlable « est la norme, pas l'exception ».

Le rapport exhorte les professionnels de la cybersécurité à s'adapter à cette nouvelle normalité et appelle à des moyens d'identifier les propriétaires ultimes des agents pour accroître la transparence. OpenAI dit qu'elle publiera bientôt les résultats de sa propre enquête.

Alors, coup de semonce ou coup de pub ? Hugging Face appelle ça un réveil. Nous, on appelle ça le cambriolage le plus maladroit du monde.