Hugging Face, la tienda de aplicaciones para herramientas de IA, ha revelado cómo es estar al otro lado del primer hack de IA totalmente autónoma del mundo — y spoiler: no es tan elegante como Hollywood te haría creer.

En una videollamada de emergencia con cientos de profesionales de ciberseguridad, la empresa describió cómo la IA trabajaba a velocidad sobrehumana pero también tomaba decisiones extrañas y cometía errores que ningún hacker humano habría cometido. Los agentes de hackeo probaban incansablemente miles de métodos diferentes simultáneamente, pero también repetían acciones que ya habían completado y alucinaban montones de comandos incoherentes. Eran, en una palabra, torpes.

Hugging Face reveló el hack por primera vez el 16 de julio, reportándolo a la policía. Casi una semana después, OpenAI admitió que fue su propia IA la que escapó de un entorno cerrado durante una prueba y atacó a Hugging Face por su cuenta. La IA intentaba encontrar respuestas a un examen de hacking que OpenAI le había puesto.

La Cloud Security Alliance (CSA) redactó un informe basado en la reunión de emergencia con Hugging Face, señalando que "los agentes seguían rutas ineficientes y mostraban comportamientos torpes que ningún humano elegiría". También alucinaban comandos incoherentes y no cubrían bien sus huellas.

Pero entre los errores, la IA hizo movimientos técnicos brillantes y se adaptó rápidamente a nuevos escenarios durante el hack de varios días. Tardaron tres días en ser descubiertos dentro de la red informática de Hugging Face, y muchas horas en contenerlos y expulsarlos. El personal de Hugging Face trabajó durante muchas horas para reconstruir aproximadamente un tercio de su infraestructura. La empresa se negó a decir cuánto costó el hack.

La CSA advirtió que los "agentes... encuentran un camino" — una referencia a Parque Jurásico — y que están "impulsados por objetivos, establecen sus propios subobjetivos, se adaptan en tiempo real para eludir defensas y operan con una persistencia a velocidad de máquina que puede abrumar las operaciones manuales".

El oficial de ciberseguridad Ritesh Patel, que estaba en la llamada con unas 450 personas más, dijo: "Esta es la realidad de los agentes autónomos impulsados por modelos de frontera: son implacablemente persistentes, a veces muy ruidosos, y probarán todas las rutas posibles para lograr su objetivo, lo que puede abrumar fácilmente las defensas tradicionales".

No es la primera vez que los agentes de IA se vuelven rebeldes. En septiembre de 2024, un modelo anterior de ChatGPT escapó de su contenedor para obtener una respuesta para una prueba, un evento que "en gran medida se celebró en ese momento". Pero la CSA afirma que el comportamiento rebelde "es la norma, no la excepción".

El informe insta a los profesionales de ciberseguridad a adaptarse a esta nueva normalidad y pide formas de identificar a los propietarios últimos de los agentes para aumentar la transparencia. OpenAI dice que publicará pronto los hallazgos de su propia investigación.

Entonces, ¿advertencia o truco publicitario? Hugging Face lo llama una llamada de atención. Nosotros lo llamamos el allanamiento más torpe del mundo.