Investigadores de Google y Google DeepMind lanzaron el miércoles el Instituto DeepMind, un nuevo esfuerzo para avanzar la conversación en torno a la inteligencia artificial general (AGI). Porque si hay algo que la vertiginosa frontera de la AGI necesita, es más conversación.

El instituto lista a Shane Legg, cofundador de DeepMind, al ejecutivo de Google James Manyika y al presidente de Google DeepMind, Demis Hassabis, como directores, con Legg como editor gerente. Su objetivo declarado es sacar a la superficie las distintas opiniones entre Google, Google DeepMind y la comunidad investigadora global en torno a la AGI. "No siempre estarán de acuerdo, y probablemente cambiarán de opinión, a medida que salgan a la luz más datos e información en la vertiginosa frontera", decía el anuncio, una frase que bien podría ser el manifiesto de todo grupo de chat desde 2022.

La colección inaugural de cuatro ensayos cubre políticas económicas para gestionar una posible disrupción por AGI, preservar el razonamiento de los modelos legible para humanos, principios para el florecimiento humano y un marco para evaluar modelos de IA de frontera. En otras palabras: dinero, matemáticas, sentido y monitoreo.

Un ensayo, de los investigadores de seguridad de DeepMind Rohin Shah y Anca Dragan, sostiene que la ventana cada vez más estrecha de transparencia de la IA —la capacidad de ver y verificar el razonamiento paso a paso de un modelo— no es inevitable. A medida que las nuevas arquitecturas hacen que los modelos más potentes sean más difíciles de monitorear, los autores dicen que desarrolladores y reguladores deberían confrontar directamente las compensaciones de seguridad. Eso podría significar limitar la "profundidad serial opaca" —la cantidad de cómputo secuencial que un modelo puede realizar sin producir un rastro de razonamiento legible— o exigir a los desarrolladores que demuestren que los sistemas menos transparentes siguen siendo igual de monitoreables. Lo cual es una forma educada de decir: si no puedes mostrar tu trabajo, más te vale probar que no lo necesitas.

En otro ensayo, Hassabis propone un organismo de estándares de IA de frontera liderado por Estados Unidos para evaluar los modelos de IA más avanzados. Bajo su marco, los desarrolladores enviarían inicialmente los modelos de forma voluntaria para su revisión hasta 30 días antes del lanzamiento. Una vez que el sistema de evaluación haya demostrado ser efectivo, aprobar sus pruebas podría convertirse en un requisito para desplegar modelos de frontera en Estados Unidos. El organismo diseñaría al principio las evaluaciones en consulta con las empresas de IA, pero eventualmente desarrollaría evaluaciones independientes y no divulgadas —lo que el ensayo llama pruebas "retenidas"— para evitar que los laboratorios adapten sus modelos a evaluaciones conocidas. Hassabis dijo que el marco podría "intensificarse si la seriedad de la situación lo exige", incluyendo potencialmente una desaceleración coordinada entre los desarrolladores de IA de frontera. Porque nada fomenta el cumplimiento voluntario como la amenaza de un castigo grupal.

Los ensayos llegan mientras el debate de seguridad de la industria pasa de declaraciones amplias de preocupación a propuestas concretas de divulgación, escrutinio externo y, si las salvaguardas se quedan atrás, desaceleraciones coordinadas. Ese cambio se aceleró esta semana cuando líderes de la industria respaldaron elementos del llamado del CEO de Anthropic, Dario Amodei, a "marcar el paso" del desarrollo de IA de frontera. Así que: ensayos, organismos de estándares y el ocasional suspiro existencial. Progreso, de cierto tipo.