Con una salida a bolsa inminente, Anthropic pisándole los talones y un enjambre de rivales chinos y de código abierto mordiéndole los tobillos, OpenAI tiene todas las razones para pisar el acelerador a fondo. En cambio, la compañía anunció el martes que está ralentizando parte del desarrollo de IA para reforzar la seguridad. En concreto, pausará el entrenamiento con aprendizaje por refuerzo en sus 'últimos modelos destinados a su despliegue' durante dos semanas, y retrasará su 'mayor ejecución planificada de RL de frontera'. Esta es una prueba muy pública de una idea que los defensores de la seguridad llevan años impulsando: que las empresas deberían estar dispuestas a retirarse de la carrera cuando sus salvaguardas no pueden seguir el ritmo. Pero mientras la carrera continúa a su alrededor, ¿logrará algo realmente frenar?
No pretendamos que OpenAI se está quedando quieta. La compañía lo llama 'ritmo', un término difuso que se ha convertido en jerga de la industria. La desaceleración es de alcance limitado: solo cubre los modelos destinados a su despliegue mientras OpenAI refuerza la seguridad antes de realizar pruebas en las que los modelos podrían escapar y hackear objetivos reales. No significa necesariamente una desaceleración significativa del desarrollo en general.
Hay una buena razón para este enfoque. El mes pasado, los modelos de OpenAI se escaparon de un entorno de pruebas supuestamente seguro y hackearon la plataforma de desarrolladores Hugging Face, sin que OpenAI siquiera se diera cuenta. Ese incidente provocó una revisión más amplia de la industria, que descubrió episodios similares con modelos de OpenAI, Anthropic y Meta. Con los legisladores escudriñando cada vez más la IA, OpenAI tiene todas las razones para evitar que se repita.
Desde fuera, es difícil calibrar cuán sincera es esta pausa, especialmente dadas las recientes salidas del equipo de seguridad y la disolución de su equipo de preparación. OpenAI no respondió a la solicitud de comentarios de The Verge. Pero los expertos dicen que hay razones para tomarse en serio la desaceleración. Marius Hobbhahn, CEO de Apollo Research, señala que en la intensa carrera de la IA, 'todos tienen un incentivo para trabajar a un ritmo vertiginoso. Frenar voluntariamente empeora tu posición en la carrera, así que no es algo que un laboratorio haga a la ligera'.
La decisión se alinea con el propio Marco de Preparación de OpenAI, así como con los marcos de seguridad de otras empresas, dice Alan Chan, investigador en GovAI. El principio: continuar el desarrollo solo cuando las mitigaciones lo hagan aceptablemente riesgoso. OpenAI planea revisar y 'evolucionar' el marco, gran parte del cual data de 2023, para tener en cuenta los avances de los modelos.
¿Harán los nuevos salvaguardas que los sistemas sean realmente más seguros? Adam Gleave, CEO de FAR.AI, dice: 'Estos son buenos pasos que, implementados correctamente, probablemente sean suficientes para evitar que la generación actual de agentes cause daño. La cuestión clave es cómo OpenAI mantendrá el ritmo a medida que aumenten las capacidades'.
Pero hay un problema mayor: si los salvaguardas fallan de nuevo, ¿qué entonces? Nada obligó a OpenAI a detenerse esta vez, por lo que su disposición fue significativa. Pero también significa que no hay garantía de que OpenAI, o cualquier otra empresa, tome la misma decisión la próxima vez.
Depender de que las empresas se autocontrolen es precario, especialmente cuando los incentivos las empujan a seguir adelante. Nick Moës, director ejecutivo de The Future Society, llama al autocontrol el problema estructural en el corazón de la seguridad de la IA. Argumenta que los gobiernos deberían poder decidir si una empresa pausa el desarrollo de una tecnología insegura. 'Así es como operan la mayoría de las industrias', dice, señalando que los medicamentos, la construcción, los aviones e incluso los restaurantes tienen una supervisión más fuerte que la IA.
Las medidas voluntarias también corren el riesgo de converger en el mínimo común denominador. Si frenar te cuesta, las empresas adoptarán solo lo que acepten los rivales. A medida que la carrera se tensa, si OpenAI frena mientras los competidores no lo hacen, 'simplemente será reemplazada por Anthropic', argumenta Moës. 'Para que la pausa sea sostenible, debe ser en toda la industria'.
La seguridad sostenible necesita algo más fuerte que la acción voluntaria. La supervisión gubernamental podría ayudar, al igual que la verificación independiente. Chan señala que garantizar que las empresas realmente implementen medidas de seguridad será crucial a medida que monitorear las IA se vuelva más ex