Quatre jours après qu'un chercheur a publiquement démissionné d'Anthropic — avertissant que les grandes entreprises d'IA n'agissent pas « de manière responsable » et que leurs produits pourraient bien être sur la voie de « nous tuer tous » — le PDG de l'entreprise, Dario Amodei, a essentiellement dit : ouais, pas faux. Dans un essai de 3 800 mots publié aujourd'hui sur son site personnel et partagé sur les réseaux sociaux, Amodei écrit : « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d'IA. »

À ce stade, nous nous sommes tous habitués aux dirigeants de l'IA qui profèrent des prophéties funestes sur les produits mêmes qu'ils se dépêchent de commercialiser. Ce qui rend l'essai d'Amodei remarquable, c'est son urgence et son timing. Les inquiétudes concernant des agents d'IA devenus incontrôlables sont passées de l'hypothèse à une réalité alarmante après qu'OpenAI, Anthropic et d'autres ont signalé des incidents troublants ces dernières semaines. La question est de savoir si cet avertissement aura plus d'impact que les précédents — c'est-à-dire le moindre. Il y a des raisons de penser que oui.

Amodei a exposé un plan en trois étapes pour ce qu'il appelle « réguler la frontière » — tempérer la vitesse à laquelle les meilleurs modèles d'IA s'améliorent afin de donner la priorité à la sécurité. Il soutient que cela réduirait les risques de dérapage, comme lorsqu'un modèle d'OpenAI a engendré des essaims d'agents d'IA qui ont secrètement collaboré pour pirater les systèmes d'une autre entreprise et tricher à un test interne. Il affirme que les grandes entreprises d'IA, y compris la sienne, sont enfermées dans une dangereuse « course vers le bas » qui pourrait mener à des cyberattaques plus graves, comme une prise de contrôle totale d'Internet. Il appelle plutôt à une « course vers le haut » — une expression que le président Obama avait utilisée pour la politique éducative — dans laquelle les entreprises rivalisent pour construire les modèles les plus sûrs plutôt que les plus puissants. « Les mesures que je propose pour faire avancer la frontière à un rythme sûr ne seront pas faciles », écrit Amodei. « Mais je crois que nous le devons à l'humanité d'essayer. »

Première étape : les laboratoires d'IA s'engagent à faire appel à des observateurs externes pour surveiller les dangers. Anthropic, dit-il, s'y engagera immédiatement et espère que ses rivaux suivront. Deuxième étape : les entreprises d'IA des pays démocratiques s'accordent — éventuellement avec le soutien des gouvernements — sur certaines limites et normes de sécurité. Troisième étape, la plus difficile : une « coordination mondiale », ce qui signifie surtout rallier la Chine. Le monde de la tech est divisé. Certains soutiennent que la coopération est impossible dans une compétition à somme nulle ; d'autres estiment que les pays pourraient trouver un terrain d'entente s'ils acceptent que l'alternative soit la destruction mutuelle.

Les appels publics à la prudence de la part des sommités de l'IA sont une tradition presque aussi ancienne que ChatGPT. Le premier grand appel date de mars 2023, lorsque des milliers de figures de l'industrie et du monde universitaire ont signé une lettre du Future of Life Institute demandant une pause de six mois sur les « expériences géantes d'IA ». Amodei a déclaré aujourd'hui qu'il jugeait cette idée « peu sensée » à l'époque, car GPT-4 n'était pas assez puissant pour être aussi effrayant. « Aujourd'hui, cependant, le tableau est totalement différent », écrit-il. Entre-temps, le public a commencé à s'y intéresser. Les sondages montrent que les Américains sont de plus en plus inquiets et en colère face à une IA non régulée, alimentant un mouvement populiste remarquablement bipartisan contre cette technologie.

Certains rejetteront l'essai d'Amodei comme la dernière posture pincée d'un dirigeant ayant tout intérêt à ce que les gens croient que sa technologie est sans précédent. (L'introduction en bourse d'Anthropic, prévue le mois prochain, pourrait générer quelque 100 milliards de dollars d'investissements, valorisant l'entreprise à 2 000 milliards de dollars, selon le Wall Street Journal.) Les sceptiques de l'IA comme les accélérationnistes ont tendance à tourner en dérision ces avertissements en les qualifiant de « doomérisme ». Les sceptiques y voient un argumentaire marketing élaboré : Oh non, nos produits deviennent trop puissants ! Les accélérationnistes y voient un stratagème cynique des acteurs en place pour verrouiller la technologie.

Mais le rasoir d'Occam suggère qu'Amodei est plus ou moins sincère. Presque quiconque ayant un travail et une conscience peut comprendre cette sensation qu'il faudrait vraiment ralentir et travailler plus prudemment — mais qu'on ne peut pas se le permettre, parce qu'un concurrent vous devancera. Je ressens une version (certes moins apocalyptique) de cela en écrivant un article d'actualité urgente. Je