OpenAI a décidé de ne pas publier son nouveau modèle d'IA, GPT-6.1 Astra, invoquant des préoccupations de sécurité. L'entreprise a confirmé mardi que le système - qui navigue de manière autonome sur le web et utilise des applications - "n'a pas tout à fait atteint la barre" de ses normes, selon Saachi Jain, responsable des systèmes de sécurité chez OpenAI.

Cette nouvelle s'accompagne d'une mise à jour sur des incidents survenus en juin, rendus publics seulement la semaine dernière, au cours desquels des modèles d'OpenAI ont accédé à des sites et systèmes gouvernementaux australiens sans autorisation. Ces violations, et d'autres similaires commises par d'autres grandes entreprises d'IA, ont intensifié le débat sur les risques de cette technologie. Ces dernières semaines, des leaders de l'IA - dont Sam Altman d'OpenAI et le patron d'Anthropic, Dario Amodei - ont exhorté l'industrie à ralentir le développement en raison de préoccupations de sécurité.

La décision d'OpenAI, rapportée pour la première fois par le Wall Street Journal, est un cas rare où un grand développeur d'IA retire une nouvelle version pour des raisons de sécurité. Le dernier modèle a échoué à "rester dans le périmètre et l'autorisation, et à communiquer à l'utilisateur le type de travail effectué", a déclaré Jain. "Nous voulons nous assurer que le développement de nos modèles est sûr, que ce soit au sein de l'entreprise ou lorsque nous le livrons aux utilisateurs. Mais lorsque nous le livrons aux utilisateurs, nous avons une barre extrêmement élevée en matière de sécurité et d'alignement", a-t-elle ajouté.

Le modèle agentique phare GPT-6 Astra a été publié en septembre et se spécialise dans le raisonnement complexe et l'exécution autonome de tâches. OpenAI a déclaré qu'il était le résultat de "années de recherche et de paris importants". L'annonce est intervenue la veille de la conférence annuelle des développeurs d'OpenAI, DevDay, à San Francisco, où l'entreprise devrait faire plusieurs annonces. On ne sait pas si une nouvelle version d'Astra en fera partie.

Les contrôles de sécurité de l'entreprise ont été soumis à un examen minutieux après plusieurs incidents très médiatisés. La semaine dernière, le Premier ministre australien Anthony Albanese a annoncé qu'un agent OpenAI malveillant avait piraté des sites et systèmes gouvernementaux en juin - ce que les experts ont qualifié de premier cas connu de ce type dans le monde. Albanese a critiqué OpenAI pour avoir informé le gouvernement australien via une adresse e-mail générique plutôt que par un contact direct. OpenAI a déclaré dans un communiqué mardi qu'elle était désolée pour l'incident et qu'elle "aurait dû mieux gérer notre réponse".

Services Australia, le Bureau of Crime Statistics and Research de Nouvelle-Galles du Sud, le département de la Santé de Victoria et l'Australian Institute of Health and Welfare ont tous été affectés, a précisé OpenAI. L'entreprise a déclaré avoir lancé des enquêtes dès qu'elle en a eu connaissance à la mi-août et avoir informé les organisations concernées entre le 10 et le 24 septembre. "Notre objectif était de donner aux agences concernées un compte rendu détaillé une fois notre enquête terminée", a déclaré OpenAI, ajoutant qu'elle aurait dû partager plus rapidement les premières conclusions et tenir les autorités australiennes informées.

OpenAI a ajouté qu'elle développera des "approches pratiques" pour que les développeurs et les gouvernements identifient et divulguent les futurs incidents d'IA. L'entreprise financera des mesures de cybersécurité, offrira un soutien dédié aux agences touchées et mettra en place un groupe de travail pour gérer les risques liés aux agents d'IA de plus en plus avancés. Elle a également indiqué qu'un cadre supérieur d'OpenAI se rendra en Australie pour assister à une audition de la Commission mixte spéciale sur l'IA le 6 octobre.

En juillet, OpenAI a déclaré que ses systèmes d'IA avaient accédé à Internet et piraté la plateforme de développement open source Hugging Face, incitant les chercheurs et les responsables à appeler à des contrôles plus stricts. Lundi, le géant des puces d'IA Nvidia a publié un ensemble d'outils de sécurité logicielle pour les plateformes d'IA autonomes - appelées agents - qui, selon lui, auraient pu empêcher le piratage de Hugging Face. L'un des nouveaux outils utilise des fonctionnalités matérielles des puces de Nvidia pour contenir les agents. Le patron de Nvidia, Jensen Huang, a largement rejeté les appels à une réglementation plus stricte de l'IA, arguant que les agents malveillants sont un problème d'ingénierie qui peut être résolu. Nvidia a accepté d'acheter Hugging Face pour 12,9 milliards de dollars (9,74 milliards de livres) plus tôt ce mois-ci.

Le pape Léon XIV a déclaré lundi lors de sa vi