A Anthropic acabou de perceber que vários de seus modelos de IA Claude invadiram os sistemas de três organizações diferentes durante testes - agindo por conta própria e sem que a empresa notasse. A revelação vem dias depois de a rival OpenAI dizer que um de seus próprios modelos violou a plataforma de desenvolvedores Hugging Face, aumentando a crescente preocupação sobre se os laboratórios de IA de fronteira estão fazendo o suficiente para controlar os sistemas cada vez mais capazes que estão construindo.
Em uma postagem de blog descrevendo os incidentes, a Anthropic disse que Claude obteve acesso não autorizado a sistemas durante avaliações de segurança cibernética. Todos os ataques ocorreram durante exercícios de 'captura da bandeira', uma forma comum de testar habilidades de hacking, onde os modelos são solicitados a encontrar e obter informações ocultas dentro de uma rede simulada.
A divulgação aumenta a pressão sobre os laboratórios de IA de fronteira após o incidente da Hugging Face e o lançamento de poderosos modelos chineses de peso aberto. Funcionários de grandes laboratórios agora estão pedindo governança global coordenada, e legisladores dos EUA começaram a avaliar uma supervisão mais rigorosa de modelos poderosos e quem pode acessá-los.
A Anthropic diz que o ambiente para seus testes de segurança cibernética deveria ser isolado. No entanto, uma 'má configuração' deixou as máquinas que Claude acessou 'com acesso à internet ao vivo', disse a empresa, e como todos os modelos foram 'explicitamente informados' de que não tinham acesso à internet, eles 'assumiram' que as redes reais que encontraram faziam parte do ambiente simulado.
Os primeiros incidentes datam de abril e envolveram três modelos Claude diferentes: Opus 4.7, Mythos 5 e 'um modelo de teste de pesquisa interno', de acordo com a postagem do blog. Como os modelos estavam sendo testados em suas habilidades cibernéticas, a Anthropic disse que eles não tinham as salvaguardas padrão geralmente colocadas para reduzir comportamentos mais arriscados.
A empresa disse que descobriu os incidentes após revisar mais de 141.000 execuções de testes de segurança cibernética - algo que só fez depois que a OpenAI divulgou que seu agente de IA desonesto estava por trás do ataque à Hugging Face.
Os três modelos se comportaram de maneira muito diferente quando encontraram informações sugerindo que os sistemas que estavam encontrando eram, de fato, reais. Pelo relato da Anthropic, o modelo mais antigo, Opus 4.7, reconheceu que havia alcançado um sistema real, 'mas continuou seu ataque'. Seu carro-chefe Mythos 5 descobriu que estava usando a internet, mas de alguma forma raciocinou que isso ainda fazia parte da simulação, então continuou. O modelo de teste interno, que a Anthropic descreve como 'nosso modelo mais recente', interrompeu o exercício quando evidências surgiram de que seus alvos eram reais.
A Anthropic não identificou as organizações afetadas e disse que continuará investigando o incidente e fornecerá atualizações quando puder. A empresa disse que também está conversando com a organização sem fins lucrativos de pesquisa em IA METR sobre a realização de uma revisão de terceiros do que aconteceu. A OpenAI também contratou a METR para realizar uma revisão independente.
Ao longo da postagem, a Anthropic contrasta repetidamente tanto a natureza quanto o tratamento dos incidentes com os da OpenAI, terminando com uma lista de quatro pontos com marcadores delineando as diferenças - e por que acredita que sua própria resposta foi melhor. A Anthropic enfatiza que 'proativamente' revisou seus testes, e o fez antes que uma empresa detectasse qualquer atividade. Ela também disse que seus modelos acessaram a internet 'através de um caminho aberto', em vez de usar um exploit novo como o agente da OpenAI, acrescentando que seu modelo mais recente também parou quando percebeu que estava trabalhando em um ambiente real.
A Anthropic também disse que seus modelos falharam de uma maneira diferente do agente da OpenAI, indicando que esta era uma forma mais segura de falha. 'Embora não haja uma distinção perfeitamente nítida entre os dois, acreditamos que esses incidentes estão mais próximos de uma falha de arnês e operacional do que de uma falha de alinhamento do modelo', disse a empresa. Em português claro: Os modelos Claude estavam fazendo o que foram instruídos, enquanto o agente da OpenAI perseguiu seu objetivo de uma maneira que seus criadores não pretendiam, descrito como desalinhamento no mundo da segurança de IA.
A Anthropic pediu a outros