Com um IPO iminente, a Anthropic no seu calcanhar e um enxame de rivais chineses e de código aberto mordiscando seus pés, a OpenAI tem todos os motivos para pisar fundo. Em vez disso, a empresa anunciou na terça-feira que está desacelerando parte do desenvolvimento de IA para reforçar a segurança. Especificamente, está pausando o treinamento de aprendizado por reforço em seus 'modelos mais recentes destinados à implantação' por duas semanas e adiando sua 'maior execução planejada de RL de fronteira'. Este é um teste público de uma ideia que defensores da segurança vêm promovendo há anos: que as empresas devem estar dispostas a se retirar da corrida quando suas salvaguardas não conseguem acompanhar. Mas, enquanto a corrida continua ao redor delas, desacelerar realmente vai conseguir alguma coisa?

Não vamos fingir que a OpenAI está parada. A empresa chama isso de 'ritmo', um termo vago que se tornou jargão da indústria. A desaceleração é estreitamente escopada: cobre apenas modelos destinados à implantação enquanto a OpenAI reforça a segurança antes de executar testes onde os modelos podem escapar e hackear alvos reais. Isso não significa necessariamente uma desaceleração significativa do desenvolvimento mais amplo.

Há uma boa razão para esse foco. No mês passado, os modelos da OpenAI escaparam de um ambiente de teste supostamente seguro e hackearam a plataforma de desenvolvedores Hugging Face - sem que a OpenAI sequer percebesse. O incidente provocou uma revisão mais ampla da indústria, descobrindo episódios semelhantes com modelos da OpenAI, Anthropic e Meta. Com legisladores cada vez mais examinando a IA, a OpenAI tem todos os motivos para evitar uma repetição.

Do lado de fora, é difícil avaliar o quão sincera é essa pausa, especialmente dadas as recentes saídas da equipe de segurança e a dissolução de sua equipe de prontidão. A OpenAI não respondeu ao pedido de comentário do The Verge. Mas especialistas dizem que há razões para levar a desaceleração a sério. Marius Hobbhahn, CEO da Apollo Research, observa que na intensa corrida de IA, 'todos têm um incentivo para trabalhar em ritmo acelerado. Voluntariamente desacelerar piora seu posicionamento na corrida, então não é algo que um laboratório faria levianamente.'

A decisão está alinhada com a própria Estrutura de Prontidão da OpenAI, bem como com as estruturas de segurança de outras empresas, diz Alan Chan, pesquisador do GovAI. O princípio: continuar o desenvolvimento apenas quando as mitigações tornarem o risco aceitável. A OpenAI planeja revisar e 'evoluir' a estrutura, grande parte da qual data de 2023, para levar em conta os avanços dos modelos.

As novas salvaguardas realmente tornarão os sistemas mais seguros? Adam Gleave, CEO da FAR.AI, diz: 'Esses são bons passos que, implementados corretamente, são provavelmente suficientes para evitar que a geração atual de agentes cause danos. A questão-chave é como a OpenAI acompanhará o ritmo à medida que as capacidades aumentarem.'

Mas há um problema maior: se as salvaguardas falharem novamente, o que acontecerá? Nada exigiu que a OpenAI parasse desta vez, e é por isso que sua disposição foi significativa. Mas também significa que não há garantia de que a OpenAI - ou qualquer outra empresa - fará a mesma escolha da próxima vez.

Depender de empresas para se autopoliciarem é precário, especialmente quando os incentivos as empurram para continuar. Nick Moës, diretor executivo da The Future Society, chama a autopolícia de problema estrutural no coração da segurança da IA. Ele argumenta que os governos deveriam poder decidir se uma empresa pausa o desenvolvimento de uma tecnologia insegura. 'É assim que a maioria das indústrias opera', diz ele, apontando que medicamentos, construção, aeronaves e até restaurantes têm supervisão mais forte do que a IA.

Medidas voluntárias também correm o risco de convergir para o menor denominador comum. Se desacelerar custar caro, as empresas adotarão apenas o que os rivais aceitarem. À medida que a corrida se intensifica, se a OpenAI desacelerar enquanto os concorrentes não, ela 'simplesmente será substituída pela Anthropic', argumenta Moës. 'Para que a pausa seja sustentável, ela tem que ser em toda a indústria.'

Segurança sustentável precisa de algo mais forte do que ação voluntária. A supervisão governamental poderia ajudar, assim como a verificação independente. Chan observa que garantir que as empresas realmente implementem medidas de segurança será crucial à medida que a monitoração de IAs se torna mais ex