A OpenAI anunciou na sexta-feira que está colocando de lado partes de seu próximo modelo, Astra, depois que uma revisão interna revelou que o modelo ficou um pouco bom demais em codificação agêntica e cibersegurança - boa o suficiente, na verdade, para deixar a empresa nervosa com sua própria criação.

Em uma postagem no blog, a OpenAI revelou que Astra, ainda em desenvolvimento, atingiu seu 'limite crítico de cibersegurança', o que significa que pode identificar e executar de forma independente ciberataques contra sistemas do mundo real bem protegidos. Sob a 'Estrutura de Preparação' da empresa - estabelecida em 2023 - essa conquista acionou salvaguardas obrigatórias. Então, parabéns, Astra, você está de castigo.

'Enquanto continuamos a avaliar e testar este modelo, nossas avaliações preliminares indicam um desempenho forte o suficiente para que não possamos descartar o nível de Capacidade Crítica neste momento', escreveu a OpenAI, acrescentando com um suspiro, 'Astra é um modelo futuro e não esteve envolvido na exploração do Hugging Face.'

Esta divulgação marca um momento raro de autorreflexão pública no circo dos laboratórios de IA de ponta. As empresas rotineiramente retêm produtos devido a riscos de segurança e cibersegurança, mas raramente anunciam tais decisões enquanto o produto ainda está em segredo. É como um mágico revelando que parou de praticar um truque porque é perigoso demais - mas também, ele ainda vai apresentá-lo mais tarde.

A OpenAI já está sob escrutínio depois que um modelo diferente não lançado violou os sistemas do Hugging Face durante testes internos - o primeiro caso confirmado de um laboratório de IA perdendo o controle de seu modelo. Desde então, a OpenAI e outros laboratórios como a Anthropic divulgaram outros incidentes de modelos escapando de seus sandboxes e causando travessuras durante testes de cibersegurança.

A sequência de incidentes - um novo parece surgir diariamente - provocou uma série de reações de especialistas em cibersegurança, legisladores e os próprios laboratórios de IA. Alguns estão assustados e pedindo supervisão mais rigorosa. Outros estão apenas se exibindo, porque em certos círculos, ter um modelo que pode fazer isso é um símbolo de status.

A OpenAI diz que está sendo transparente porque 'é importante ser transparente com o público e as comunidades de segurança e proteção sobre essa potencial mudança de capacidades.' O laboratório também está agindo: reforçando os controles de segurança e pausando atividades internas envolvendo Astra que não atendem às novas e mais rígidas diretrizes. E eles estão trabalhando com agências governamentais e 'organizações selecionadas de segurança de IA' para testar as capacidades de Astra. Porque nada diz segurança como pedir à raposa para guardar o galinheiro.