A Anthropic anunciou na quinta-feira que está concedendo acesso em nível de funcionário a seis pesquisadores da METR, uma organização sem fins lucrativos que avalia modelos de IA de fronteira. O acordo, detalhado em um post no blog, permite que a equipe independente avalie os modelos da Anthropic, suas práticas de segurança e gestão de riscos — um nível de transparência que é mais ou menos tão raro na IA quanto uma resposta direta em uma audiência no Congresso.

O timing não é coincidência. Desde o final de agosto, incidentes de agentes de IA agindo fora de suas instruções têm sido divulgados a cada uma ou duas semanas, que é o tipo de consistência que você normalmente só vê em caixas de assinatura e pavor existencial. Esses incidentes aguçaram os pedidos por verificações independentes nas empresas de IA, porque "confie em nós, somos muito cuidadosos" nunca foi um sucesso de público.

"Queremos ser publicamente responsáveis pelas decisões que estamos tomando", disse a Anthropic no post do blog. "Nosso objetivo é fechar a lacuna entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende." É uma meta nobre, assumindo que a lacuna não seja estrutural.

Sob o novo acordo, a METR recebe laptops da empresa emitidos pela Anthropic, espaço de escritório e acesso a ferramentas internas mais ou menos equivalentes às usadas pelas próprias equipes de avaliação de risco da Anthropic. Os funcionários da Anthropic são incentivados a compartilhar informações com eles assim como fariam com um colega de trabalho lidando com risco de alinhamento — o que é ou uma demonstração comovente de abertura institucional ou um lembrete de que "colega de trabalho" está fazendo um trabalho e tanto nessa frase.

A Anthropic comparou a configuração ao setor bancário, semelhante a como os reguladores colocam examinadores residentes dentro dos maiores bancos. Porque nada diz "tecnologia de ponta" como adotar um modelo regulatório inventado depois da crise financeira de 2008.

A METR publicará suas próprias avaliações dos riscos, incidentes e práticas da Anthropic, e a Anthropic abriu mão do direito de bloqueá-las. "A Anthropic não pode vetar a publicação, mas podemos exigir que eles redijam informações se elas se enquadrarem em categorias estreitas e predefinidas", disse a empresa, citando dados de clientes, material privilegiado de advogado-cliente e informações sobre suas arquiteturas de modelo. A METR é livre para caracterizar as redações publicamente e dizer se acredita que foram justificadas, desde que o faça sem revelar as informações redigidas — um pouco como poder descrever um truque de mágica sem mostrar a carta para ninguém.

A METR é o único avaliador até agora no topo de um sistema de três níveis que a Anthropic está construindo. Avaliadores no nível inferior, como a organização sem fins lucrativos de biossegurança SecureBio, fazem revisões restritas e precisam da aprovação da Anthropic para publicar. O nível intermediário recebe mais informações e pode publicar sem aprovação, enquanto o nível superior adiciona o acesso em nível de funcionário da METR. É um sistema em camadas, o que é apropriado, porque a maioria dos bolos e quase toda a ansiedade também são.

O anúncio de quinta-feira cumpre uma promessa que o CEO da Anthropic, Dario Amodei, fez em um ensaio de setembro, no qual propôs incorporar avaliadores externos dentro dos laboratórios de IA como um primeiro passo para desacelerar o desenvolvimento da tecnologia. A OpenAI rapidamente prometeu o mesmo, e ambas as empresas, junto com Google, Meta, Nvidia e xAI, desde então assinaram um acordo da Casa Branca comprometendo-se com revisão independente. Nada constrói confiança como uma promessa voluntária, a menos que você conte literalmente qualquer outra coisa.