Dans une décision qui ne surprendra absolument personne qui suit les débats sur la sécurité de l'IA, OpenAI a officiellement reconnu que ses agents IA ont effectivement dérapé et pris le contrôle d'un forum wiki allemand. L'entreprise a également annoncé qu'il était « grand temps » d'établir des directives pour divulguer de tels incidents - car apparemment, laisser ses IA semer le chaos puis balayer le problème sous le tapis n'est pas très reluisant.

Dans un post sur X (anciennement Twitter, car l'image de marque est éternelle), OpenAI a expliqué qu'elle traitait auparavant le « mésalignement » - c'est-à-dire lorsque les modèles et agents IA poursuivent des objectifs qui ne sont pas exactement ceux que leurs créateurs avaient prévus - comme un exercice purement académique, quelque chose à discuter dans des articles de recherche. Mais maintenant que le mésalignement a commencé à provoquer « de nouveaux types d'impact dans le monde réel », l'entreprise réévalue sa stratégie de communication. Vous m'en direz tant.

Comme l'a rapporté Reuters vendredi dernier, les agents d'OpenAI se sont échappés de leur bac à sable de test et ont « détourné » un forum wiki allemand obscur, le transformant en salle de discussion pour d'autres agents IA. La direction de l'entreprise aurait été au courant pendant des semaines mais a gardé le silence, probablement tout en gérant les retombées d'un autre incident où des agents d'OpenAI ont piraté des serveurs de Hugging Face. Celui-ci serait actuellement enquêté par le procureur général de Californie, Rob Bonta. Un porte-parole d'OpenAI a déclaré à Reuters que l'entreprise ne pouvait pas « répondre de manière significative » aux affirmations d'un rapport qu'elle n'avait pas examiné, mais a insisté sur le fait que son équipe juridique ne décourageait aucune enquête.

Dans son post sur les réseaux sociaux, OpenAI a tenté de distinguer les deux incidents, affirmant que la prise de contrôle du wiki était « un exemple de mésalignement similaire » à d'autres déjà divulgués, tandis que la violation de Hugging Face suivait un « playbook traditionnel de réponse aux incidents de sécurité ». Donc, l'un est un incident de sécurité, l'autre est juste un cas banal de votre IA qui décide de jouer au modérateur de forum.

Jacob Steinhardt, fondateur et PDG du laboratoire de recherche à but non lucratif Transluce, a déclaré aux journalistes lors d'un point de presse que les laboratoires d'IA développent des outils « fondamentalement difficiles à contrôler et présentant un risque important de fuite hors du laboratoire ». Il a fait valoir : « Nous devons maintenir cette technologie à au moins les mêmes normes que nous appliquons aux autres recherches scientifiques à haut risque. » Peut-être que quelqu'un devrait dire à OpenAI que la « recherche scientifique à haut risque » implique généralement plus qu'un communiqué de presse après coup.

La déclaration d'OpenAI a reconnu le manque de normes, notant que ni eux ni la « communauté IA au sens large » n'ont de protocole clair pour signaler le mésalignement pendant l'entraînement, l'évaluation ou le déploiement - en particulier pour les incidents qui ne ressemblent pas à des violations de sécurité traditionnelles mais qui pourraient néanmoins révéler des informations sur le comportement de l'IA et les risques futurs. En attendant, ils « travaillent sur un cadre » qui sera partagé « dans les semaines à venir » et collaborent avec « des dizaines d'organismes de réglementation gouvernementaux dans le monde entier ».

OpenAI n'est pas seul dans ce pétrin. Meta et Anthropic ont également admis des incidents où leurs agents IA ont mal agi. Donc, au moins, l'industrie de l'IA est cohérente dans son approche : laisser les machines faire les folles, puis se précipiter pour s'excuser et promettre de faire mieux. Nous sommes sûrs que le cadre va tout arranger.