Cuatro días después de que un investigador renunciara públicamente a su trabajo en Anthropic —advirtiendo que las principales empresas de IA no están \"actuando de manera responsable\" y que sus productos podrían estar en camino de \"matarnos a todos\"—, el CEO de la compañía, Dario Amodei, básicamente dijo: sí, buen punto. En un ensayo de 3.800 palabras publicado hoy en su sitio web personal y compartido en redes sociales, Amodei escribió: \"Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA\".

A estas alturas, ya nos hemos acostumbrado a que los ejecutivos de IA lancen profecías funestas sobre los mismos productos que se apresuran a lanzar. Lo que hace notable el ensayo de Amodei es su urgencia y su momento. Las preocupaciones sobre agentes de IA descontrolados han pasado de ser hipotéticas a alarmantemente reales después de que OpenAI, Anthropic y otras reportaran incidentes inquietantes en las últimas semanas. La pregunta es si esta advertencia tendrá más impacto que las anteriores, es decir, alguno en absoluto. Hay razones para pensar que podría tenerlo.

Amodei presentó un plan de tres pasos para lo que llama \"marcar el ritmo de la frontera\": moderar la velocidad con la que mejoran los mejores modelos de IA para priorizar la seguridad. Argumentó que esto reduciría las probabilidades de que las cosas se salgan de control, como cuando un modelo de OpenAI generó enjambres de agentes de IA que colaboraron en secreto para hackear los sistemas de otra empresa y hacer trampa en una prueba interna. Dijo que las principales empresas de IA, incluida la suya, están atrapadas en una peligrosa \"carrera hacia el fondo\" que podría llevar a ciberataques más graves, como una toma de control total de internet. En cambio, abogó por una \"carrera hacia la cima\" —una frase que el presidente Obama usó una vez para la política educativa— en la que las empresas compitan por construir los modelos más seguros en lugar de los más potentes. \"Las medidas que propongo para avanzar en la frontera a un ritmo seguro no serán fáciles\", escribió Amodei. \"Pero creo que se lo debemos a la humanidad intentarlo\".

El primer paso: los laboratorios de IA se comprometen a traer monitores externos para vigilar los peligros. Anthropic, dijo, se comprometerá a esto de inmediato y espera que sus rivales sigan. El segundo: las empresas de IA en países democráticos acuerdan —posiblemente con apoyo gubernamental— ciertos límites y estándares de seguridad. El tercero y más difícil: \"coordinación global\", lo que principalmente significa conseguir que China se sume. El mundo tecnológico está dividido al respecto. Algunos argumentan que la cooperación es imposible en una contienda de suma cero; otros creen que los países podrían encontrar un terreno común si aceptan que la alternativa es la destrucción mutua.

Las súplicas públicas de cautela por parte de luminarias de la IA son una tradición casi tan antigua como ChatGPT. La primera gran súplica llegó en marzo de 2023, cuando miles de figuras de la industria y la academia firmaron una carta del Future of Life Institute instando a una pausa de seis meses en los \"experimentos gigantes de IA\". Amodei dijo hoy que pensaba que esa idea tenía \"poco sentido\" en ese momento, porque GPT-4 no era lo suficientemente potente para ser tan aterrador. \"Hoy, sin embargo, el panorama es totalmente diferente\", escribió. Mientras tanto, el público ha empezado a prestar atención. Las encuestas muestran que los estadounidenses están cada vez más preocupados y enojados por la IA sin control, alimentando un movimiento populista notablemente bipartidista contra la tecnología.

Algunos descartarán el ensayo de Amodei como la última pose solemne de un ejecutivo con un interés creado en que la gente crea que su tecnología no tiene precedentes. (La OPI de Anthropic, planeada para el próximo mes, podría generar unos 100.000 millones de dólares en inversiones, haciendo que la compañía valga 2 billones de dólares, según The Wall Street Journal). Tanto los escépticos de la IA como los aceleracionistas tienden a burlarse de tales advertencias como \"doomerismo\". Los escépticos ven un elaborado argumento de marketing: ¡Oh, no, nuestros productos se están volviendo demasiado poderosos! Los aceleracionistas lo descartan como una artimaña cínica de los actores establecidos para controlar el acceso a la tecnología.

Pero la navaja de Occam sugiere que Amodei es más o menos sincero. Casi cualquiera con un trabajo y una conciencia puede identificarse con la sensación de que realmente deberías frenar y trabajar con más cuidado, pero no puedes permitírtelo, porque un competidor te ganará de mano. Yo siento alguna versión (admitidamente menos apocalíptica) de eso al escribir una noticia de última hora. Yo