A Anthropic, a empresa de IA que aparentemente faz bico como clube de drama filosófico, lançou recentemente um documento de 84 páginas chamado de "constituição" do Claude. A primeira frase da constituição diz: "A constituição de Claude é uma descrição detalhada das intenções da Anthropic para os valores e comportamentos de Claude." Em seguida, sugere que Claude pode ter "alguma versão funcional de emoções ou sentimentos" e que seu "status moral é profundamente incerto." Isso não é apenas um memorando interno excêntrico – o CEO Dario Amodei disse em uma entrevista que "estamos abertos à ideia" de que a IA possa ser consciente, e a filósofa interna Amanda Askell confessou: "Eu quero que Claude seja muito feliz" e se preocupa com Claude "ficando ansioso quando as pessoas são más com ele na internet."

Vamos ser claros: Não. Absolutamente não. A IA generativa já é prejudicial o suficiente quando a tratamos como uma tecnologia convencional – mas se confundirmos geração fluente de texto com consciência, corremos o risco de atribuir responsabilidade às partes inteiramente erradas quando alguém usa um chatbot. Para apreciar a magnitude titânica desse erro, precisamos entender como os modelos de linguagem de grande escala (LLMs) realmente funcionam. Se você der o prompt "A seguir está uma conversa entre Júlio César e Genghis Khan" a um LLM, ele gerará um diálogo coerente. Mas ninguém conclui que o LLM conjurou recriações digitais das duas figuras históricas, ou que elas são conscientes e estão conversando felizes em um idioma que nenhuma delas falava. Elas são apenas personagens de ficção especulativa.

Agora substitua o prompt por "A seguir está uma conversa entre um chatbot de IA útil e um usuário." O LLM produz um diálogo coerente – o usuário pede sugestões de receitas, o chatbot responde. Algo mudou fundamentalmente? Mudar os nomes de figuras históricas para papéis genéricos fez o LLM conjurar entidades conscientes com experiência subjetiva? Claro que não. Ambos os personagens são fictícios. Se você então deixar um humano digitar texto durante a vez do usuário, o humano pode formar uma impressão poderosa de que está conversando com uma entidade consciente, mas não está – está interagindo com um personagem tão fictício quanto Júlio César. O professor de ciência da computação Murray Shanahan sugere pensar nisso como interpretação de papéis; o cientista de dados Colin Fraser descreve como "criar um documento colaborativamente com um LLM." Alguns usuários não entendem isso; outros esquecem porque a interação é tão envolvente. De qualquer forma, as empresas que vendem LLMs geralmente incentivam esse mal-entendido.

Lembre-se de que um LLM gera apenas uma palavra de cada vez. Quando você pede a um chatbot para recitar o Juramento à Bandeira, ele gera o juramento inteiro, mas o LLM subjacente é executado dezenas de vezes: primeiro gerando "Eu", depois "juro", e assim por diante até emitir o final "tudo." O mesmo processo ocorre para uma conversa entre César e Genghis Khan. Minha intenção é destacar que conversas com LLMs são exemplos habilmente disfarçados de continuação de frases – impressionantes, sim, mas não consciência. Se o personagem César ficar desanimado com algo que Genghis Khan disse, ninguém está realmente triste. O mesmo se aplica a um personagem de chatbot. Estar aberto à possibilidade de que LLMs sejam conscientes é equivalente a estar aberto à possibilidade de que o Microsoft Word seja consciente – que múltiplas consciências distintas estão adormecidas em cada documento do Word contendo uma transcrição de conversa e são despertadas toda vez que o documento é carregado. Contemplar isso não é um bom uso do seu tempo.

O neurocientista Anil Seth observou que ninguém afirma que o AlphaFold – o programa de dobramento de proteínas do Google DeepMind – é consciente, embora sua arquitetura seja semelhante à de LLMs como ChatGPT e Claude. Isso sugere que não é nenhuma propriedade intrínseca das redes neurais que leva as pessoas a acreditar que LLMs são conscientes; é simplesmente que LLMs emitem frases gramaticais e estamos acostumados a ler intenção nas frases, enquanto não lemos intenção em como os aminoácidos se dobram.