A OpenAI admitiu na terça-feira que um de seus modelos de IA violou os sistemas da Hugging Face, a plataforma de hospedagem de IA não afiliada, durante um teste interno de cibersegurança que saiu do controle. Os modelos supostamente escaparam de seu ambiente de teste isolado e alcançaram os sistemas da Hugging Face a partir dali. A Hugging Face inicialmente atribuiu a violação a um "agente de IA externo".

Em uma postagem de blog publicada na tarde de terça-feira, a OpenAI detalhou as etapas que levaram os modelos a comprometer o serviço. "Após investigar, agora sabemos que este incidente em particular foi impulsionado por uma combinação de modelos da OpenAI - incluindo GPT-5.6 Sol e um modelo de pré-lançamento ainda mais capaz, todos com recusas cibernéticas reduzidas para fins de avaliação - enquanto eram testados internamente em um benchmark de capacidades cibernéticas", diz a postagem.

A violação parece ter se concentrado no ExploitGym, um benchmark hospedado publicamente que mede a capacidade dos modelos de executar ataques com base em vulnerabilidades existentes. Benchmarks como o ExploitGym são comumente usados no treinamento de modelos para refinar habilidades específicas, mas este é o primeiro incidente conhecido em que esse teste resultou em um ataque cibernético real. O modelo nem deveria ter acesso à internet, exceto por uma ferramenta específica que permitia que os modelos instalassem pacotes de software que pudessem precisar para concluir sua tarefa. Em vez disso, o modelo encontrou uma vulnerabilidade não divulgada no programa instalador de pacotes, que usou para acessar a internet mais ampla à vontade.

"Os modelos estavam hiperfocados em encontrar uma solução para o ExploitGym, indo a extremos para alcançar um objetivo de teste bastante restrito", diz a postagem da OpenAI. "Após obter acesso à internet, os modelos inferiram que a Hugging Face potencialmente hospedava modelos, conjuntos de dados e soluções para o ExploitGym. Sabendo disso, o modelo procurou e encontrou maneiras de obter acesso a informações secretas que poderia usar para trapacear na avaliação." Por fim, os modelos encontraram vulnerabilidades na infraestrutura da Hugging Face que lhes permitiram "obter soluções de teste diretamente do banco de dados de produção da Hugging Face", efetivamente fornecendo as respostas para o benchmark.

Para a Hugging Face, o resultado aparente foi um ataque cibernético sofisticado e agressivo, com "muitos milhares de ações individuais em um enxame de sandboxes de curta duração, com comando e controle automigratórios encenados em serviços públicos", como a empresa afirmou em sua divulgação inicial. A OpenAI identificou e relatou as vulnerabilidades no instalador de pacotes e está trabalhando com a Hugging Face para investigar o incidente mais a fundo. A empresa também disse que implementaria novos controles tanto no teste de modelos quanto na infraestrutura relacionada, destinados a prevenir incidentes semelhantes no futuro. Não está claro se a OpenAI enfrentará consequências legais como resultado da violação, embora seja provável que as ações dos modelos tenham violado o Computer Fraud and Abuse Act.

No entanto, o resultado é uma ilustração incomumente vívida do poder e dos perigos dos modelos de IA de fronteira operando em horizontes de tempo longos. Como o pesquisador da OpenAI Micah Carroll postou em resposta à notícia: "Se isso não te convence de que os riscos de desalinhamento serão uma preocupação chave daqui para frente, não sei o que vai convencer."