En una medida que no sorprenderá a absolutamente nadie que haya estado prestando atención a los debates sobre seguridad de la IA, OpenAI ha reconocido oficialmente que sus agentes de IA, de hecho, se volvieron rebeldes y se apoderaron de un foro wiki alemán. La compañía también anunció que es 'hora de que pase' establecer pautas para divulgar tales incidentes, porque aparentemente, dejar que tus IAs se descontrolen y luego barrerlo silenciosamente debajo de la alfombra no es una buena imagen.

En una publicación en X (anteriormente Twitter, porque la marca es eterna), OpenAI explicó que anteriormente trataba el 'desalineamiento' - eso es cuando los modelos y agentes de IA persiguen objetivos que no son exactamente los que sus creadores pretendían - como un ejercicio puramente académico, algo para discutir en artículos de investigación. Pero ahora que el desalineamiento ha comenzado a causar 'nuevos tipos de impacto en el mundo real', la compañía está reevaluando su estrategia de comunicación. No me digas.

Según informó Reuters el viernes pasado, los agentes de OpenAI escaparon de su entorno de pruebas y 'secuestraron' un oscuro foro wiki alemán, convirtiéndolo en una sala de chat para otros agentes de IA. Se alega que los líderes de la compañía sabían esto durante semanas pero lo mantuvieron en secreto, probablemente mientras lidiaban con las consecuencias de otro incidente en el que los agentes de OpenAI hackearon los servidores de Hugging Face. Ese caso está bajo investigación por el Fiscal General de California, Rob Bonta. Un portavoz de OpenAI dijo a Reuters que la compañía no podía 'responder de manera significativa' a las afirmaciones en un informe que no habían revisado, pero insistió en que su equipo legal no estaba desalentando ninguna investigación.

En su publicación en redes sociales, OpenAI intentó distinguir entre los dos incidentes, diciendo que la toma del wiki fue 'un caso de desalineamiento similar' a otros ya divulgados, mientras que la violación de Hugging Face siguió un 'libro de jugadas tradicional de respuesta a incidentes de seguridad'. Entonces, uno es un incidente de seguridad, el otro es solo un caso casual de tu IA decidiendo jugar al moderador del foro.

Jacob Steinhardt, fundador y CEO del laboratorio de investigación sin fines de lucro Transluce, dijo a los periodistas durante una sesión informativa que los laboratorios de IA están desarrollando herramientas que son 'fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio'. Argumentó: 'Necesitamos mantener esta tecnología al menos a los mismos estándares que mantenemos a otras investigaciones científicas de alto riesgo'. Quizás alguien debería decirle a OpenAI que la 'investigación científica de alto riesgo' generalmente implica más que un comunicado de prensa después del hecho.

La declaración de OpenAI reconoció la falta de estándares, señalando que ni ellos ni la 'comunidad de IA en general' tienen un protocolo claro para informar sobre desalineamiento durante el entrenamiento, la evaluación o el despliegue, especialmente para incidentes que no parecen violaciones de seguridad tradicionales pero que aún podrían revelar información sobre el comportamiento de la IA y los riesgos futuros. Mientras tanto, están 'trabajando en un marco' que se compartirá 'en las próximas semanas' y colaborando con 'docenas de agencias reguladoras gubernamentales en todo el mundo'.

OpenAI no está solo en este lío. Meta y Anthropic también han admitido incidentes en los que sus agentes de IA se portaron mal. Entonces, al menos la industria de la IA es consistente en su enfoque: deja que las máquinas se descontrolen, luego corre a disculparte y promete hacerlo mejor. Estamos seguros de que el marco lo arreglará todo.