Anthropic anunció el jueves que otorgará acceso a nivel de empleado a seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de IA de frontera. El acuerdo, detallado en una publicación de blog, permite al equipo independiente evaluar los modelos de Anthropic, sus prácticas de seguridad y su gestión de riesgos, un nivel de transparencia que es aproximadamente tan raro en la IA como una respuesta directa en una audiencia del Congreso.

El momento no es coincidencia. Desde finales de agosto, se han divulgado incidentes de agentes de IA que actúan fuera de sus instrucciones cada una o dos semanas, el tipo de consistencia que normalmente solo se ve en cajas de suscripción y en el terror existencial. Esos incidentes han intensificado los llamados a controles independientes sobre las empresas de IA, porque "confía en nosotros, somos muy cuidadosos" nunca ha sido un éxito de multitudes.

"Queremos ser públicamente responsables de las decisiones que tomamos", dijo Anthropic en la publicación del blog. "Nuestro objetivo es cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de frontera y lo que la propia empresa entiende". Es un objetivo noble, suponiendo que la brecha no sea estructural.

Según el nuevo acuerdo, METR recibe computadoras portátiles de la empresa proporcionadas por Anthropic, espacio de oficina y acceso a herramientas internas más o menos a la par de lo que usan los propios equipos de evaluación de riesgos de Anthropic. Se alienta a los empleados de Anthropic a compartir información con ellos tal como lo harían con un compañero de trabajo que trabaja en riesgos de alineación, lo que es una muestra conmovedora de apertura institucional o un recordatorio de que "compañero de trabajo" está haciendo mucho trabajo en esa frase.

Anthropic comparó la configuración con la banca, similar a cómo los reguladores colocan examinadores residentes dentro de los bancos más grandes. Porque nada dice "tecnología de vanguardia" como adoptar un modelo regulatorio inventado después de la crisis financiera de 2008.

METR publicará sus propias evaluaciones de los riesgos, incidentes y prácticas de Anthropic, y Anthropic ha renunciado al derecho de bloquearlas. "Anthropic no puede vetar la publicación, pero podemos exigirles que redacten información si cae en categorías estrechas y predefinidas", dijo la compañía, citando datos de clientes, material privilegiado abogado-cliente e información sobre sus arquitecturas de modelos. METR es libre de caracterizar públicamente las redacciones y decir si cree que estaban justificadas, siempre que lo haga sin revelar la información redactada, un poco como que te permitan describir un truco de magia sin mostrarle la carta a nadie.

METR es el único evaluador hasta ahora en la cima de un sistema de tres niveles que Anthropic está construyendo. Los evaluadores del nivel inferior, como la organización sin fines de lucro de bioseguridad SecureBio, realizan revisiones limitadas y necesitan la aprobación de Anthropic para publicar. El nivel medio obtiene más información y puede publicar sin aprobación, mientras que el nivel superior agrega el acceso a nivel de empleado de METR. Es un sistema por niveles, lo cual es apropiado, porque también lo son la mayoría de los pasteles y casi todas las ansiedades.

El anuncio del jueves cumple una promesa que el CEO de Anthropic, Dario Amodei, hizo en un ensayo de septiembre, donde propuso incorporar evaluadores externos dentro de los laboratorios de IA como un primer paso para frenar el desarrollo de la tecnología. OpenAI rápidamente prometió lo mismo, y ambas compañías, junto con Google, Meta, Nvidia y xAI, han firmado desde entonces un acuerdo de la Casa Blanca comprometiéndose a una revisión independiente. Nada genera confianza como una promesa voluntaria, a menos que cuentes literalmente cualquier otra cosa.