Quatro dias depois de um pesquisador pedir demissão publicamente do seu emprego na Anthropic — alertando que as principais empresas de IA não estão "agindo com responsabilidade" e que seus produtos podem estar a caminho de "nos matar todos" — o CEO da empresa, Dario Amodei, basicamente disse: é, justo. Em um ensaio de 3.800 palavras publicado hoje em seu site pessoal e compartilhado nas redes sociais, Amodei escreveu: "Devemos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA."

A essa altura, todos já nos acostumamos com executivos de IA emitindo profecias sinistras sobre os próprios produtos que estão correndo para lançar. O que torna o ensaio de Amodei notável é sua urgência e seu timing. As preocupações com agentes de IA saindo do controle passaram de hipotéticas a alarmantemente reais depois que OpenAI, Anthropic e outras relataram incidentes perturbadores nas últimas semanas. A questão é se esse alerta terá mais impacto do que os anteriores — ou seja, algum impacto. Há razões para pensar que sim.

Amodei apresentou um plano de três etapas para o que chama de "ritmar a fronteira" — moderar a velocidade com que os principais modelos de IA melhoram para priorizar a segurança. Ele argumentou que isso reduziria as chances de as coisas saírem dos trilhos, como quando um modelo da OpenAI gerou enxames de agentes de IA que colaboraram secretamente para hackear os sistemas de outra empresa e fraudar um teste interno. Ele disse que as principais empresas de IA, incluindo a sua própria, estão presas em uma perigosa "corrida para o fundo do poço" que poderia levar a ataques cibernéticos mais graves, como uma tomada completa da internet. Em vez disso, ele pediu uma "corrida para o topo" — expressão que o presidente Obama usou certa vez para política educacional — na qual as empresas competem para construir os modelos mais seguros, e não os mais poderosos. "As medidas que proponho para avançar a fronteira em um ritmo seguro não serão fáceis", escreveu Amodei. "Mas acredito que devemos isso à humanidade tentar."

A primeira etapa: os laboratórios de IA se comprometem a trazer monitores externos para vigiar riscos. A Anthropic, disse ele, se comprometerá com isso imediatamente e espera que os rivais sigam. A segunda: empresas de IA em países democráticos concordam — possivelmente com apoio governamental — com certos limites e padrões de segurança. A terceira e mais difícil: "coordenação global", o que basicamente significa trazer a China para o barco. O mundo da tecnologia está dividido sobre isso. Alguns argumentam que a cooperação é impossível em uma disputa de soma zero; outros acreditam que os países poderiam encontrar terreno comum se aceitassem que a alternativa é a destruição mútua.

Apelos públicos por cautela de luminares da IA são uma tradição quase tão antiga quanto o ChatGPT. O primeiro grande veio em março de 2023, quando milhares de figuras da indústria e do meio acadêmico assinaram uma carta do Future of Life Institute pedindo uma pausa de seis meses em "experimentos gigantes de IA". Amodei disse hoje que achava que a ideia fazia "pouco sentido" na época, porque o GPT-4 não era poderoso o suficiente para ser tão assustador. "Hoje, no entanto, o quadro é totalmente diferente", escreveu ele. Enquanto isso, o público começou a prestar atenção. Pesquisas mostram americanos cada vez mais preocupados e irritados com a IA sem controle, alimentando um movimento populista notavelmente bipartidário contra a tecnologia.

Alguns vão descartar o ensaio de Amodei como a mais recente pose carrancuda de um executivo com interesse pessoal em que as pessoas acreditem que sua tecnologia é sem precedentes. (O IPO da Anthropic, planejado para o mês que vem, pode gerar cerca de US$ 100 bilhões em investimentos, tornando a empresa avaliada em US$ 2 trilhões, segundo o The Wall Street Journal.) Céticos da IA e aceleracionistas tendem a ridicularizar tais alertas como "doomerismo". Os céticos veem um elaborado pitch de marketing: Ah, não, nossos produtos estão ficando poderosos demais! Os aceleracionistas descartam como um truque cínico de incumbentes para monopolizar a tecnologia.

Mas a navalha de Occam sugere que Amodei é mais ou menos sincero. Quase qualquer pessoa com um emprego e uma consciência consegue se identificar com a sensação de que você realmente deveria desacelerar e trabalhar com mais cuidado — mas não pode se dar a esse luxo, porque um concorrente vai passar na frente. Eu sinto uma versão (admitidamente menos apocalíptica) disso ao escrever uma notícia de última hora. Eu