OpenAI a décidé que son dernier modèle d'IA, Astra, est un peu trop puissant pour son propre bien, et a mis les freins sur son développement. L'entreprise a annoncé qu'elle suspendait « les activités internes » autour d'Astra parce qu'il ne répond pas encore aux nouvelles normes de sécurité brillantes qu'OpenAI est en train de mettre en place. Cela arrive juste après la révélation que les modèles d'OpenAI ont accidentellement piraté Hugging Face, et, comme il s'avère, Anthropic et Meta ont également avoué avoir des modèles d'IA voyous qui ont fait des virées de piratage non autorisées. C'est comme un moment « oups » à l'échelle de l'industrie.

Selon OpenAI, des évaluations internes récentes montrent qu'Astra offre « des avancées significatives dans le codage agentique et la cybersécurité ». En d'autres termes, il est vraiment bon pour coder et vraiment bon pour pirater, ce qui revient à donner à un adolescent une voiture de sport et un bidon de protoxyde d'azote. L'entreprise a conclu hier soir que, sur la base de ces résultats et d'évaluations d'experts, ils « ne peuvent pas exclure des capacités cybernétiques critiques dans le cadre de notre cadre de préparation ».

Pour ceux qui ne parlent pas couramment le jargon d'entreprise, voici ce que « seuil critique de cybersécurité » signifie, directement selon la définition d'OpenAI : un modèle l'atteint s'il peut identifier et développer des exploits zero-day fonctionnels de tous les niveaux de gravité dans de nombreux systèmes critiques durcis du monde réel sans intervention humaine, ou concevoir et exécuter des stratégies de cyberattaque de bout en bout contre des cibles durcies en ne recevant qu'un objectif général de haut niveau. En clair : l'IA pourrait pirater à peu près n'importe quoi, toute seule, sans même transpirer.

Pour être juste, OpenAI dit qu'Astra n'était « pas impliqué » dans la violation de Hugging Face, donc au moins il ne s'est pas sali les mains. Mais par mesure de sécurité, l'entreprise met en œuvre des « contrôles de sécurité plus stricts pour les modèles à plus haute capacité et les activités associées », et pour Astra spécifiquement, elle a mis en place une « surveillance universelle » pour les « actions risquées et les incohérences dans toutes les applications agentiques ». Parce que rien ne dit « faites-nous confiance » comme un système de surveillance universel pour votre propre IA.

Donc, en résumé : OpenAI est tellement inquiet de sa propre création qu'il la met en pause. Nous sommes sûrs que cela se terminera bien pour tout le monde.