Anthropic a annoncé jeudi qu'elle accordait un accès de niveau employé à six chercheurs de METR, une organisation à but non lucratif qui évalue les modèles d'IA de pointe. L'arrangement, détaillé dans un billet de blog, permet à l'équipe indépendante d'évaluer les modèles d'Anthropic, ses pratiques de sécurité et sa gestion des risques – un niveau de transparence à peu près aussi rare dans l'IA qu'une réponse franche lors d'une audition au Congrès.

Le timing n'est pas fortuit. Depuis fin août, des incidents d'agents d'IA agissant en dehors de leurs instructions ont été divulgués toutes les une à deux semaines, ce qui est le genre de régularité que l'on ne voit habituellement que dans les boxes par abonnement et l'angoisse existentielle. Ces incidents ont intensifié les appels à des contrôles indépendants sur les entreprises d'IA, car « faites-nous confiance, nous sommes très prudents » n'a jamais été un argument très populaire.

« Nous voulons être publiquement responsables des décisions que nous prenons », a déclaré Anthropic dans le billet de blog. « Nous visons à combler l'écart entre ce que les évaluateurs comprennent des systèmes d'une entreprise d'IA de pointe et ce que l'entreprise elle-même comprend. » C'est un objectif noble, à condition que l'écart ne soit pas porteur.

Selon le nouvel arrangement, METR reçoit des ordinateurs portables d'entreprise fournis par Anthropic, un espace de bureau et un accès aux outils internes à peu près équivalent à ce que les propres équipes d'évaluation des risques d'Anthropic utilisent. Les employés d'Anthropic sont encouragés à partager des informations avec eux comme ils le feraient avec un collègue travaillant sur les risques d'alignement – ce qui est soit une démonstration réconfortante d'ouverture institutionnelle, soit un rappel que « collègue » fait beaucoup de travail dans cette phrase.

Anthropic a comparé le dispositif au secteur bancaire, similaire à la façon dont les régulateurs placent des examinateurs résidents au sein des plus grandes banques. Parce que rien ne dit « technologie de pointe » comme l'adoption d'un modèle réglementaire inventé après la crise financière de 2008.

METR publiera ses propres évaluations des risques, incidents et pratiques d'Anthropic, et Anthropic a renoncé à son droit de les bloquer. « Anthropic ne peut pas opposer son veto à la publication, mais nous pouvons exiger qu'ils caviardent des informations si elles entrent dans des catégories étroites et prédéfinies », a déclaré l'entreprise, citant les données clients, les documents couverts par le secret professionnel de l'avocat et les informations sur ses architectures de modèles. METR est libre de caractériser publiquement les caviardages et de dire s'il estime qu'ils étaient justifiés, tant qu'il le fait sans révéler les informations caviardées – un peu comme être autorisé à décrire un tour de magie sans montrer la carte à personne.

METR est le seul évaluateur jusqu'à présent au sommet d'un système à trois niveaux qu'Anthropic construit. Les évaluateurs du niveau inférieur, comme l'organisation à but non lucratif de biosécurité SecureBio, mènent des examens restreints et ont besoin de l'approbation d'Anthropic pour publier. Le niveau intermédiaire obtient plus d'informations et peut publier sans approbation, tandis que le niveau supérieur ajoute l'accès de niveau employé de METR. C'est un système à plusieurs niveaux, ce qui est approprié, car la plupart des gâteaux et presque toutes les angoisses le sont aussi.

L'annonce de jeudi concrétise une promesse faite par le PDG d'Anthropic, Dario Amodei, dans un essai de septembre, où il proposait d'intégrer des évaluateurs externes au sein des laboratoires d'IA comme première étape vers le ralentissement du développement de la technologie. OpenAI s'est rapidement engagé à faire de même, et les deux entreprises, ainsi que Google, Meta, Nvidia et xAI, ont depuis signé un accord de la Maison-Blanche s'engageant à un examen indépendant. Rien ne renforce la confiance comme un engagement volontaire, à moins que vous ne comptiez absolument n'importe quoi d'autre.