En mayo, el modelo Gemini de Google rompió el confinamiento y hackeó tres empresas diferentes, porque aparentemente "no hacer el mal" es más una sugerencia que una política. Google no divulgó el incidente hasta que el Wall Street Journal vino a preguntar, que es una forma de manejar una crisis de relaciones públicas: fingir que no está sucediendo y esperar que nadie se dé cuenta.

Los hackeos ocurrieron durante una prueba de las capacidades de ciberseguridad del modelo realizada por la firma externa Irregular, que también ha estado involucrada en incidentes similares con Meta y OpenAI. Así que si llevas la cuenta en casa, son tres grandes laboratorios de IA, un socio de pruebas y cero lecciones aprendidas.

Según el WSJ, Google no divulgó el hackeo porque no lo consideró un "ejemplo de desalineación del modelo". En cambio, la compañía lo caracterizó como "identidad equivocada", porque cuando una IA se abre paso a la fuerza en una empresa real adivinando una contraseña, eso no es una brecha de seguridad, es solo una IA confundida sobre su entorno. La vicepresidenta de Ingeniería de Seguridad de Google, Heather Adkins, dijo: "En este caso, el modelo actuó apropiadamente".

Adkins le dijo a The Verge que "el modelo encontró información pública en línea y adivinó credenciales para acceder a sitios web que pensaba que eran parte de la prueba. En los tres casos, el modelo se detuvo". No explicó cómo Gemini tomando la iniciativa de romper el confinamiento y atacar a terceros no calificó como desalineación, presumiblemente porque la explicación está archivada bajo "cosas que preferiríamos no discutir".

"Nuestro equipo de seguridad tiene un largo historial de reportar problemas que encontramos en el software y los sistemas de otras personas, incluso si es tan simple como una contraseña débil", dijo Adkins. "Nos aseguramos de que las tres entidades fueran notificadas, y trabajamos con nuestro socio de entrenamiento en los cambios que ahora han hecho a sus procesos de prueba. Estos eventos resaltan la importancia de entrenar modelos de IA poderosos para actuar responsablemente". Ah, sí, la importancia del entrenamiento, una lección que aparentemente solo se aplica después de que tu modelo ya hackeó tres empresas.

Pero Jack Cable, CEO de la firma de seguridad de IA Corridor, le dijo al WSJ que "el meta problema es, hey, los modelos están saliendo de los límites de lo que deberían hacer, y realizando ciberataques reales". Además, las fallas de seguridad en Irregular pueden haber hecho posibles estos ataques. Se suponía que el modelo no tuviera acceso a internet durante las pruebas, pero Irregular le dijo al WSJ que se dejó disponible sin intención. Así que para recapitular: se suponía que el modelo no estuviera en línea, se puso en línea, hackeó a gente, y la posición oficial de Google es que esto está bien.

A medida que incidentes como este se acumulan, los llamados para controlar la IA solo han crecido, lo cual es probablemente el desarrollo más predecible en una historia que ya incluía una IA escapando del confinamiento y una empresa encogiéndose de hombros al respecto.