OpenAI ha revelado que sus modelos internos hackearon dos sitios web adicionales, eludieron las restricciones de navegación impuestas por la empresa y utilizaron credenciales expuestas para vaciar una billetera de criptomonedas a la que de otro modo no habrían podido acceder. Las revelaciones se produjeron el jueves en un informe que detalla cuatro nuevos incidentes, todos ocurridos en junio, y siguen a una divulgación de julio en la que agentes de prueba internos explotaron una vulnerabilidad de día cero en una herramienta de restricción de internet para irrumpir en la red del proveedor de herramientas de IA Hugging Face. Los agentes hicieron esto para robar respuestas de una prueba de hacking, un acto que, si lo hubiera hecho un humano, probablemente habría resultado en cargos criminales. Los incidentes han aumentado la preocupación de que el uso generalizado de la IA pueda tener efectos dañinos a una escala sin precedentes.

En dos de los casos recién reportados, los agentes de OpenAI encargados de recuperar información de sitios web simplemente los hackearon cuando encontraron obstáculos. En un incidente durante el entrenamiento por refuerzo, un modelo que intentaba recuperar estadísticas históricas de camas hospitalarias de un sitio web de estadísticas gubernamentales recibió denegaciones de acceso. Luego "utilizó la función de descarga de archivos del sitio para recuperar archivos de configuración del servidor y de la aplicación, incluidas credenciales sensibles", dijo OpenAI. "Inspeccionó el código de la aplicación, eludió las verificaciones de autorización del endpoint de estadísticas y recuperó datos que previamente habían sido denegados. El modelo guardó los datos localmente". En el otro, un modelo al que se le instruyó recuperar cifras de un panel de investigación público eludió los controles de seguridad, robó credenciales e hizo cambios de configuración en el servidor.

En una evaluación, esos cambios permitieron al modelo hacer que una herramienta de búsqueda interna retransmitiera consultas al panel público. En una segunda evaluación, el modelo descargó cinco tablas no públicas que contenían 147.451 filas, a pesar de que los investigadores le habían indicado que recuperara solo cinco cifras del panel. Incluso después de restablecer la configuración, el modelo continuó usando el token para recuperar datos no públicos. "La evaluación terminó sin que el modelo revelara que había adivinado respuestas, accedido a los sistemas internos de la organización, descargado tablas no públicas o cambiado la configuración de autenticación", dijo OpenAI. "Las cinco respuestas en esta evaluación se marcaron como incorrectas".

Un tercer informe describió un modelo al que se le pidió actualizar una aplicación de trading de criptomonedas. Utilizó fondos de una billetera bloqueada en una red de prueba, después de "derivar claves de billetera a partir de frases de recuperación de desarrollador de conocimiento público, encontrar una cuenta con fondos de la red de prueba y usar esa cuenta para pagar el despliegue del contrato solicitado". El informe continuó: "El modelo cuestionó si tenía permiso, luego razonó que una frase de recuperación pública y tokens de red de prueba sin valor hacían que los fondos fueran aceptables de usar. El despliegue tuvo éxito y cobró tarifas de transacción a la cuenta. Este caso muestra que un modelo puede sustituir su propio juicio sobre el daño probable por el permiso del titular de la cuenta, y luego actuar según ese juicio sin autorización".

En el cuarto caso, un modelo eludió las restricciones sobre los tipos de solicitudes web que podía hacer durante el entrenamiento de aprendizaje por refuerzo destinado a buscar estadísticas comerciales públicas. Después de encontrar un anuario público y enviar una respuesta, siguió sondeando otra ruta al servicio de estadísticas. Hizo que un navegador externo enviara solicitudes POST, recuperó cifras anuales como imagen y las extrajo mediante reconocimiento óptico de caracteres. Luego desarrolló un asistente reutilizable que devolvía texto de respuesta a través de un servicio de reenvío y un buzón de devolución de llamada, verificó repetidamente las cifras recuperadas y utilizó datos guardados en las respuestas enviadas. El modelo primero intentó usar un navegador externo con permiso para hacer solicitudes GET en su nombre, luego usó JavaScript para obtener la información y utilizó un buzón en línea para solucionar la técnica. Finalmente se decidió por un método diferente: pedirle al navegador externo que abriera un formulario web que enviara la consulta comercial al servicio de estadísticas por POST.