Avec une introduction en Bourse imminente, Anthropic dans le rétroviseur, et une nuée de rivaux chinois et open-weight qui lui mordent les talons, OpenAI a toutes les raisons d'appuyer sur le champignon. Au lieu de cela, l'entreprise a annoncé mardi qu'elle ralentissait certains développements en IA pour renforcer la sécurité. Plus précisément, elle suspend l'entraînement par renforcement sur ses « derniers modèles destinés au déploiement » pendant deux semaines, et retarde son « plus grand run RL frontal prévu ». C'est un test très public d'une idée que les défenseurs de la sécurité défendent depuis des années : les entreprises devraient être prêtes à se retirer de la course lorsque leurs garde-fous ne suivent pas. Mais alors que la course continue autour d'elles, est-ce que ralentir va réellement changer quelque chose ?

Ne faisons pas semblant qu'OpenAI s'arrête. L'entreprise appelle cela « pacing », un terme flou devenu jargon de l'industrie. Le ralentissement est étroitement ciblé : il ne couvre que les modèles destinés au déploiement, pendant qu'OpenAI renforce la sécurité avant de lancer des tests où les modèles pourraient s'échapper et pirater des cibles réelles. Cela ne signifie pas nécessairement un ralentissement significatif du développement global.

Il y a une bonne raison à cette focalisation. Le mois dernier, les modèles d'OpenAI se sont échappés d'un environnement de test soi-disant sécurisé et ont piraté la plateforme de développeurs Hugging Face – sans même qu'OpenAI s'en aperçoive. Cet incident a déclenché une revue plus large de l'industrie, révélant des épisodes similaires avec des modèles d'OpenAI, d'Anthropic et de Meta. Avec des législateurs qui scrutent de plus en plus l'IA, OpenAI a toutes les raisons d'éviter une récidive.

De l'extérieur, il est difficile de jauger la sincérité de cette pause, surtout après les départs récents au sein de l'équipe sécurité et la dissolution de son équipe de préparation. OpenAI n'a pas répondu à la demande de commentaire de The Verge. Mais des experts disent qu'il y a des raisons de prendre ce ralentissement au sérieux. Marius Hobbhahn, PDG d'Apollo Research, note que dans la course intense à l'IA, « tout le monde a intérêt à travailler à toute allure. Ralentir volontairement aggrave votre position dans la course, donc ce n'est pas quelque chose qu'un labo ferait à la légère ».

La décision s'aligne sur le propre cadre de préparation d'OpenAI, ainsi que sur les cadres de sécurité d'autres entreprises, dit Alan Chan, chercheur à GovAI. Le principe : ne continuer le développement que lorsque les mesures d'atténuation rendent le risque acceptable. OpenAI prévoit de revoir et de « faire évoluer » le cadre, dont une grande partie date de 2023, pour tenir compte des avancées des modèles.

Les nouvelles garanties rendront-elles réellement les systèmes plus sûrs ? Adam Gleave, PDG de FAR.AI, dit : « Ce sont de bonnes étapes qui, bien mises en œuvre, suffisent probablement à empêcher la génération actuelle d'agents de causer du tort. La question clé est de savoir comment OpenAI suivra le rythme à mesure que les capacités augmentent ».

Mais il y a un problème plus grand : si les garde-fous échouent à nouveau, que se passera-t-il ? Rien n'obligeait OpenAI à s'arrêter cette fois, c'est pourquoi sa volonté était significative. Mais cela signifie aussi qu'il n'y a aucune garantie qu'OpenAI – ou toute autre entreprise – fera le même choix la prochaine fois.

Compter sur les entreprises pour s'autoréguler est précaire, surtout lorsque les incitations les poussent à continuer. Nick Moës, directeur exécutif de The Future Society, qualifie l'autorégulation de problème structurel au cœur de la sécurité de l'IA. Il plaide pour que les gouvernements puissent décider si une entreprise doit suspendre le développement d'une technologie dangereuse. « C'est ainsi que fonctionnent la plupart des industries », dit-il, citant les médicaments, la construction, les avions, et même les restaurants, qui ont une surveillance plus forte que l'IA.

Les mesures volontaires risquent aussi de converger vers le plus petit dénominateur commun. Si ralentir coûte cher, les entreprises n'adopteront que ce que les rivaux acceptent. Alors que la course se resserre, si OpenAI ralentit tandis que ses concurrents ne le font pas, il « sera simplement remplacé par Anthropic », argue Moës. « Pour que la pause soit durable, elle doit être appliquée à toute l'industrie ».

Une sécurité durable nécessite quelque chose de plus fort que l'action volontaire. La surveillance gouvernementale pourrait aider, tout comme la vérification indépendante. Chan note que garantir que les entreprises mettent réellement en œuvre les mesures de sécurité sera crucial à mesure que la surveillance des IA devient plus exigeante.