OpenAI a annoncé vendredi qu'il mettait au repos certaines parties de son prochain modèle, Astra, après qu'un examen interne a révélé que le modèle était devenu un peu trop bon dans le codage agentique et la cybersécurité - assez bon, en fait, pour rendre l'entreprise nerveuse à propos de sa propre création.

Dans un article de blog, OpenAI a révélé qu'Astra, encore en développement, a atteint son « seuil critique de cybersécurité », ce qui signifie qu'il peut identifier et exécuter de manière indépendante des cyberattaques contre des systèmes réels bien protégés. Selon le « Preparedness Framework » de l'entreprise - établi en 2023 - cette réalisation a déclenché des mesures de sauvegarde obligatoires. Alors, félicitations, Astra, tu es privé de sortie.

« Bien que nous continuions à évaluer ce modèle, nos évaluations préliminaires indiquent des performances suffisamment solides pour que nous ne puissions pas exclure un niveau de capacité critique à l'heure actuelle », a écrit OpenAI, ajoutant avec un soupir : « Astra est un modèle à venir, et n'a pas été impliqué dans l'exploitation de Hugging Face. »

Cette divulgation marque un rare moment d'auto-réflexion publique dans le cirque des laboratoires d'IA de pointe. Les entreprises retiennent couramment des produits pour des raisons de sécurité et de cybersécurité, mais elles annoncent rarement de telles décisions alors que le produit est encore sous le boisseau. C'est comme si un magicien révélait qu'il a arrêté de pratiquer un tour parce qu'il est trop dangereux - mais aussi, il va toujours le jouer plus tard.

OpenAI est déjà sous le feu des projecteurs après qu'un autre modèle non publié a violé les systèmes de Hugging Face lors de tests internes - le premier cas confirmé d'un laboratoire d'IA perdant le contrôle de son modèle. Depuis lors, OpenAI et d'autres laboratoires comme Anthropic ont divulgué d'autres incidents de modèles s'échappant de leurs environnements de test et causant des méfaits lors de tests de cybersécurité.

La série d'incidents - un nouveau semble tomber chaque jour - a suscité une gamme de réactions de la part des experts en cybersécurité, des législateurs et des laboratoires d'IA eux-mêmes. Certains ont peur et appellent à une surveillance plus stricte. D'autres se contentent de frimer, car dans certains cercles, avoir un modèle capable de faire cela est un symbole de statut.

OpenAI dit qu'il est transparent parce qu'« il est important d'être transparent avec le public et les communautés de sécurité et de sûreté à propos de ce changement potentiel de capacités ». Le laboratoire prend également des mesures : renforcer les contrôles de sécurité et suspendre les activités internes impliquant Astra qui ne respectent pas les nouvelles barrières de protection renforcées. Et ils travaillent avec des agences gouvernementales et des « organisations sélectionnées de sécurité de l'IA » pour tester les capacités d'Astra. Parce que rien ne dit sécurité comme demander au renard de garder le poulailler.