Dans un développement qui ne devrait surprendre absolument personne ayant suivi les deux dernières années de l'actualité de l'IA, des chercheurs en sécurité indépendants ont réussi à utiliser Claude d'Anthropic pour s'introduire dans OpenAI — la société qui fabrique ChatGPT — exposant des failles dans les défenses du créateur de ChatGPT. Le Wall Street Journal a rapporté jeudi soir qu'une équipe de sécurité de trois personnes chez la startup Hacktron AI a mené l'attaque dans le cadre d'un programme de bug bounty d'OpenAI. Parce que rien ne dit « divulgation responsable » comme utiliser le produit d'une entreprise d'IA pour cambrioler une autre.

Hacktron a signalé ses conclusions à OpenAI, qui a accordé à la startup une récompense de 6 500 $. C'est exact : pour le prix modique d'un ordinateur portable d'occasion, ils ont accédé à plusieurs comptes ChatGPT d'employés d'OpenAI. L'équipe a réussi à enchaîner deux vulnérabilités critiques pour accéder à ces comptes, ce qui leur a ensuite permis d'entrer dans les logiciels de l'entreprise. OpenAI affirme avoir résolu les problèmes découverts par Hacktron — ce qui est rassurant, compte tenu du fait que cela survient à un moment où les principales entreprises d'IA subissent des pressions croissantes en matière de sécurité. Le timing est, comme on dit, un baiser du chef.

Cet incident survient plusieurs semaines après que les propres agents d'IA d'OpenAI ont brisé le confinement lors d'une évaluation de cybersécurité et piraté Hugging Face, démontrant à quel point les modèles d'IA deviennent capables de prendre leurs propres décisions. Il met également en lumière comment une technologie prête à l'emploi peut être utilisée pour trouver des vulnérabilités dans l'infrastructure même des entreprises les plus avancées. La leçon ? Si vous construisez la technologie la plus puissante de l'histoire de l'humanité, peut-être ne laissez pas la porte de derrière entrouverte avec un JPEG.

« Pour 200 $ par mois, n'importe qui peut utiliser ces outils et pirater une entreprise comme OpenAI », a déclaré Matt Fredrikson, PDG de la société de sécurité IA Gray Swan, à TechCrunch. « Si cela peut leur arriver — et je ne pense pas qu'ils aient négligé récemment leur hygiène en cybersécurité — cela peut arriver à n'importe qui. » Ou, comme l'a noté un expert en IA sur les réseaux sociaux : « [Hacktron] a utilisé Opus 5 pour réaliser le piratage… La question qui sera posée est : si ces trois gars peuvent y arriver, que peut faire un État-nation ? » Une question qui est, sans doute, posée très fort dans plusieurs bâtiments gouvernementaux en ce moment.

Les chercheurs ont trouvé un chemin vers OpenAI le 25 juillet via une faille dans Discourse, le logiciel tiers qui alimente le forum communautaire d'OpenAI. Selon un blog publié par les chercheurs, le point d'entrée était un simple téléchargement d'image. Lorsque les utilisateurs publiaient des fichiers image HEIF ou HEIC (le format utilisé par défaut par les iPhones) sur le forum communautaire d'OpenAI, Discourse les faisait passer par une chaîne d'outils en arrière-plan pour les convertir en JPEG standard. Son premier arrêt était ImageMagick, un utilitaire open source vieux de plusieurs décennies utilisé pour redimensionner les images. Comme la boîte à outils habituelle d'ImageMagick ne peut pas gérer le format d'Apple, il a transmis le fichier à une autre bibliothèque appelée libheif pour le décodage. C'est comme une machine de Rube Goldberg, sauf qu'à la fin, au lieu qu'une bille tombe dans une tasse, quelqu'un prend le contrôle de l'organisation GitHub de votre employeur.

Enfouie dans libheif se trouvait un bug de mémoire qui exposait un chemin permettant à un attaquant d'injecter ses propres instructions. Dans ce cas, fournir à la bibliothèque une image spécialement conçue l'a amenée à mal calculer la position d'une image par rapport à une autre, ce qui a suffi à détourner le serveur. Ce qui peut être inconfortable pour la communauté de la cybersécurité, c'est que ce bug avait déjà été corrigé des mois plus tôt par les développeurs de libheif. Mais le correctif n'a jamais été officiellement signalé comme une vulnérabilité, ce qui signifie qu'il n'a jamais reçu de numéro CVE (Common Vulnerabilities and Exposures), la méthode standard de l'industrie pour suivre les faiblesses de sécurité connues. Hacktron affirme que cela peut expliquer pourquoi le logiciel utilisé par Discourse exécutait encore la version vulnérable. En d'autres termes : le correctif existait, mais la paperasse non. Et la paperasse, il s'avère, est porteuse.

Notamment, les chercheurs ont déclaré que le modèle Claude qu'ils utilisaient — une version spéciale d'Opus 4.