A Anthropic está prestes a ter uma conversa muito séria com o vigia financeiro global sobre seu modelo de IA Claude Mythos, que está fazendo especialistas buscarem seus sais de cheiro devido ao seu potencial de destruir defesas cibernéticas.
A startup dos EUA vai informar o Conselho de Estabilidade Financeira (FSB), presidido por ninguém menos que o governador do Banco da Inglaterra, Andrew Bailey, sobre as implicações do Mythos. Porque o que poderia dar errado quando você libera no mundo uma IA que é muito boa em encontrar buracos em sistemas de TI?
A Anthropic sabiamente se recusou a lançar o Mythos ao público, tendo anunciado que o modelo de IA tem capacidades avançadas em destacar falhas anteriormente desconhecidas em sistemas de TI – falhas que hackers adorariam explorar. Em vez disso, a empresa deu acesso a um grupo seleto de empresas de tecnologia e bancos, incluindo Apple e JP Morgan, para ajudá-los a identificar quaisquer fraquezas que a IA possa farejar. O plano do FSB, relatado pela primeira vez pelo Financial Times, foi confirmado por uma fonte familiarizada com as discussões do regulador com a Anthropic.
O Instituto de Segurança de IA do Reino Unido (AISI), que avalia modelos avançados de IA, emitiu uma avaliação atualizada do Mythos na semana passada após examinar a versão liberada para bancos e empresas de tecnologia. Ele disse que a iteração mais recente representava um "salto notável de capacidade" mesmo em relação à versão de pré-visualização testada no mês anterior. O AISI observou que a versão mais recente do Mythos completou um teste de segurança cibernética anteriormente não resolvido, chamado "cooling tower", em três de cada dez tentativas – uma primeira vez para qualquer modelo testado pelo instituto.
"A capacidade cibernética e de software autônoma da IA de fronteira está avançando rapidamente: a duração das tarefas cibernéticas que os modelos de fronteira podem completar autonomamente dobrou na ordem de meses, não anos", disse o AISI, acrescentando que está desenvolvendo novos testes de hacking mais difíceis para acompanhar o progresso dos modelos de IA. Porque aparentemente os testes antigos já não estão dando conta.
O FSB monitora e faz recomendações sobre o sistema financeiro global e inclui autoridades das principais economias, incluindo EUA, Reino Unido, Austrália e China. Seu comitê diretivo inclui altos funcionários de bancos centrais e ministérios das finanças. Este mês, o Fundo Monetário Internacional disse que os riscos à estabilidade financeira estavam aumentando devido aos desenvolvimentos "rápidos" em IA e pediu uma resposta coordenada. "O risco cibernético não respeita fronteiras. À medida que as capacidades de IA se espalham pelos países, uma supervisão inconsistente pode enfraquecer um sistema globalmente interconectado", disse o FMI em um post de blog, claramente não com disposição para eufemismos.
No mês passado, o CEO do Goldman Sachs, David Solomon, disse que estava "hiperconsciente" das capacidades do Mythos, enquanto seu homólogo do JP Morgan, Jamie Dimon, observou que a IA tornou a defesa cibernética "mais difícil", mesmo que possa, em última análise, ajudar as empresas a se defenderem contra hackers. Outros especialistas tentaram acalmar as águas, argumentando que o Mythos representa uma evolução nas ameaças cibernéticas, não uma revolução. Especialistas em segurança cibernética alertam que a maioria das violações ainda vem de riscos bem estabelecidos, como autenticação fraca e vulnerabilidades já conhecidas que não foram corrigidas. Então, você sabe, não se esqueça de atualizar suas senhas.
Quando questionado sobre a notícia de que o FSB avaliaria os riscos do Mythos na conferência City Week em Londres, o CEO da Autoridade de Conduta Financeira, Nikhil Rathi, disse que os desenvolvimentos da IA têm sido um "tópico significativo de conversa" nas reuniões do FMI em Washington no mês passado. Ele observou que Bailey estava "engajado" no assunto e que a cooperação estava ocorrendo com as autoridades dos EUA. Rathi também apontou para as orientações divulgadas pelos reguladores do Reino Unido e pelo Tesouro na semana passada, que instruíram as empresas a "redobrar" a "higiene cibernética básica". Isso significava "ter olhado para seus sistemas legados, ter bons mecanismos de detecção, ter uma boa governança em vigor, pensar em como se recuperar, pensar em seu seguro", disse ele. Rathi acrescentou que "a Anthropic agiu de forma bastante responsável".