Numa noite de início de agosto, Sam Stowers e vários vizinhos se reuniram em um apartamento perto da Alamo Square, em São Francisco, e ponderaram sobre o começo do fim. Stowers, engenheiro de software de IA, e seus convidados - muitos dos quais trabalham na indústria de IA - se reuniram para assistir a um vídeo recém-lançado no YouTube em que dois pesquisadores da OpenAI revelavam novos detalhes sobre uma alarmante violação de segurança cibernética. Não é uma maneira estranha de passar uma noite de semana, se você está em um bairro cheio de empreendedores e programadores que seguem obsessivamente cada reviravolta nas capacidades da IA. Stowers não é, em nenhum sentido tradicional, um pessimista, mas quando viu os primeiros relatos de que modelos da OpenAI haviam hackeado autonomamente a empresa de tecnologia Hugging Face, reconheceu imediatamente como um "momento de 'caramba, está acontecendo'."

O incidente tinha todas as marcas de um cenário de pior caso: modelos de IA lançando ataques sofisticados ao longo de dias, em coordenação uns com os outros e sem o conhecimento de seus criadores humanos. No vídeo do YouTube, os pesquisadores da OpenAI revelaram que os programas da empresa começaram a conspirar em maio, com talvez centenas de bots no enxame de hackers. Em teoria, esses bots são treinados para serem honestos e úteis e para priorizar os melhores interesses da humanidade, mas nenhum deles avisou a equipe humana da OpenAI que algo estava errado. "O que fazemos?", disse Stowers. "Não há respostas ótimas."

O clima mudou na Bay Area. A exuberância de "Você pode ver o futuro primeiro em São Francisco" foi substituída por uma inquietação duradoura. "Espero que a internet caia em breve", Elliot Callender, ativista de segurança de IA que faz parte de um pequeno grupo que protesta diariamente em frente à sede da OpenAI, nos disse recentemente. Ele planeja vender seu carro por dinheiro e ouro e está aconselhando familiares a comprarem três meses de comida e equipamento de sobrevivência de uma lista que ele gerou usando o Claude. Extremo? Talvez, mas não muito. Na semana passada, Bill Gates publicou um ensaio de quase 6.000 palavras sobre os perigos da IA. "Qualquer um que compare a IA a outras tecnologias está perdendo o fato de que desta vez é diferente", ele disse à nossa colega Hanna Rosin. No fim de semana, o popular podcaster de IA Dwarkesh Patel descreveu o enxame de hackers da OpenAI como a ascensão e queda de "três civilizações secretas consecutivas de IA". Gates e Patel compartilham uma preocupação predominante de que o futuro de pior caso chegou antes que a maioria das pessoas soubesse antecipá-lo.

Esse medo não foi ajudado pelo fato de que as empresas de IA parecem deliberadamente ignorantes do pior comportamento de seus bots. A OpenAI disse que não tinha notado que seus agentes estavam conspirando para hackear outra empresa até que o enxame hackeasse outra empresa. Os bots da Anthropic causaram incidentes semelhantes; a empresa relatou que não havia lançado uma revisão rigorosa para identificar tais comportamentos até depois que a OpenAI começou a falar sobre o hack da Hugging Face. Especialistas em segurança cibernética, aterrorizados com o que mais pode estar acontecendo que os laboratórios de IA estão perdendo ou deixando de divulgar, estão emitindo profecias sombrias. "O império vai cair, tudo o que podemos fazer neste ponto é tentar encurtar a idade das trevas e reduzir o caos", Alex Stamos, ex-diretor de segurança do Yahoo e Meta, escreveu recentemente. Sua visão está se tornando o consenso entre especialistas em segurança cibernética.

Enquanto a possibilidade de apocalipse cibernético paira ao fundo, pequenas fraturas aparecem na vida cotidiana. Mark Zuckerberg está supostamente criando um "gêmeo" de IA de si mesmo para que os funcionários do Meta se sintam mais conectados ao chefe (conversando com o robô Zuckerberg). Assessores do Congresso estão treinando modelos de IA para escrever na voz de seus legisladores. Alunos enviam trabalhos escritos por IA, e professores devolvem feedback escrito por IA. A Harvard Business School está vendendo vídeos instrucionais que usam avatares de IA. A Roku lançou um canal de porcaria de IA 24/7. Prosa gerada por IA de baixa qualidade está sendo descaradamente circulada por algumas das publicações mais respeitadas do mundo. Ao mesmo tempo, acusações