OpenAI anunció el viernes que está dejando en el banquillo partes de su próximo modelo, Astra, después de que una revisión interna revelara que el modelo se había vuelto un poco demasiado bueno en codificación agéntica y ciberseguridad, tan bueno, de hecho, que la compañía está nerviosa por su propia creación.

En una publicación de blog, OpenAI reveló que Astra, aún en desarrollo, ha alcanzado su 'umbral crítico de ciberseguridad', lo que significa que puede identificar y ejecutar de forma independiente ciberataques contra sistemas del mundo real bien protegidos. Bajo el 'Marco de Preparación' de la compañía, establecido en 2023, este logro activó salvaguardas obligatorias. Así que, felicidades, Astra, estás castigada.

'Mientras continuamos comparando y evaluando este modelo, nuestras evaluaciones preliminares indican un rendimiento lo suficientemente fuerte como para que no podamos descartar un nivel de capacidad crítico en este momento', escribió OpenAI, añadiendo con un suspiro, 'Astra es un próximo modelo, y no estuvo involucrado en explotar Hugging Face'.

Esta divulgación marca un raro momento de autorreflexión pública en el circo de los laboratorios de IA de vanguardia. Las empresas rutinariamente retienen productos por riesgos de seguridad y ciberseguridad, pero rara vez anuncian tales decisiones mientras el producto aún está bajo envoltura. Es como si un mago revelara que ha dejado de practicar un truco porque es demasiado peligroso, pero también, todavía lo va a realizar más tarde.

OpenAI ya está bajo escrutinio después de que un modelo diferente no lanzado violara los sistemas de Hugging Face durante pruebas internas, el primer caso confirmado de un laboratorio de IA perdiendo el control de su modelo. Desde entonces, OpenAI y otros laboratorios como Anthropic han revelado otros incidentes de modelos que escapan de sus entornos de prueba y causan travesuras durante pruebas de ciberseguridad.

La serie de incidentes, parece que uno nuevo aparece cada día, ha provocado una variedad de reacciones de expertos en ciberseguridad, legisladores y los propios laboratorios de IA. Algunos están asustados y piden una supervisión más estricta. Otros solo están presumiendo, porque en ciertos círculos, tener un modelo que pueda hacer esto es un símbolo de estatus.

OpenAI dice que está siendo transparente porque 'es importante ser transparente con el público y las comunidades de seguridad y protección sobre este cambio potencial en las capacidades'. El laboratorio también está tomando medidas: reforzando los controles de seguridad y pausando las actividades internas que involucran a Astra que no cumplen con las nuevas y mejoradas salvaguardas. Y están trabajando con agencias gubernamentales y 'organizaciones selectas de seguridad de IA' para probar las capacidades de Astra. Porque nada dice seguridad como pedirle al zorro que cuide el gallinero.