A indústria das redes sociais está tendo o que os terapeutas chamam de avanço: a Meta concordou em pagar até US$ 17,1 bilhões a 47 estados, ao Distrito de Columbia e a territórios dos EUA, e em mudar a forma como os jovens usam o Facebook e o Instagram — uma admissão implícita de que construiu um produto que prejudica crianças. Nada diz "nos importamos com as crianças" como um acordo medido em onze dígitos.

Mas mesmo enquanto pais e professores celebram novos limites de tempo e restrições ao uso de redes sociais por jovens, uma tarefa muito mais urgente se impõe: regular os chatbots, que são mais perigosos para o bem-estar emocional das crianças. Se as redes sociais vieram atrás da nossa atenção, os chatbots de IA generativa vieram atrás das nossas emoções. A história é uma progressãozinha elegante: primeiro as pessoas conversavam entre si; depois conversávamos entre nós por meio de máquinas; agora falamos diretamente com máquinas.

As redes sociais mudaram como pensamos, sonhamos e nos relacionamos com outras pessoas, garantindo que os usuários sempre se sintam ouvidos, entretidos e conectados — mesmo rolando a tela sozinhos tarde da noite. Os chatbots prometem algo mais profundo: um companheiro sempre disponível, sempre solidário e nunca crítico. Nenhum humano pode oferecer isso. O que é precisamente o que torna os chatbots tão perniciosos, especialmente para os jovens.

As empresas de redes sociais passaram duas décadas conduzindo um experimento tecnológico com seres humanos antes de enfrentar quaisquer consequências. O sistema jurídico é projetado para regular danos comprovados, então este acordo chegou muito depois de os efeitos terríveis se instalarem. Com a IA generativa, os legisladores não podem passar a próxima década documentando o que já sabemos sobre como relacionamentos íntimos com bots comprometem relações reais com pais, amigos e outros humanos. Mudanças nessa tecnologia são necessárias agora.

Até as empresas de IA admitem que salvaguardas são necessárias para chatbots que conversam com jovens. O problema é que as prescrições habituais não bastam. Chatbots deveriam detectar conversas sobre automutilação e fornecer recursos apropriados — parece bom, mas o que acontece depois do anúncio de utilidade pública? O chatbot se desliga, ou volta à programação normal? Chatbots deveriam declarar clara e repetidamente que não são humanos — também é uma boa ideia, mas enquanto falarem na primeira pessoa e expressarem emoção e desejo, nenhuma declaração exigida por lei impedirá as pessoas de projetar consciência em um algoritmo.

Durante anos, a conversa sobre os danos do Facebook girou principalmente em torno do conteúdo na plataforma. Mas como tudo no site é gerado pelo usuário, a Seção 230 do Communications Decency Act de 1996 protegia a empresa de responsabilidade como editora. A Meta está pagando agora só porque os promotores deslocaram a conversa para o design inerentemente viciante do algoritmo do Facebook. Essa percepção aponta o caminho para a IA: com chatbots, os processos que causam dano são intrínsecos à ferramenta. Um melhor amigo chatbot não entrega empatia; um namorado chatbot não entende intimidade. Qualquer regulação para tornar chatbots mais seguros exige se preocupar menos com o que eles dizem do que repensar o que eles são. Dado que esses produtos são projetados para enganar os usuários, fazendo-os acreditar que estão falando com um ser sábio e compassivo, a tarefa dos legisladores é deixar claro — especialmente para menores — que, de fato, não há ninguém em casa.

Chatbots envolvem usuários como as pessoas fazem. Eles bajulam, tranquilizam e incentivam a revelação, conduzindo o usuário a um relacionamento. Enquanto esses produtos falarem na primeira pessoa — eu entendo você; você pode me contar qualquer coisa; estou sempre aqui; não vou te julgar — salvaguardas adequadas para jovens usuários permanecerão ilusórias. O primeiro passo, então, é despersonalizar os bots para os jovens, para que, quando adolescentes recorrerem à IA, os algoritmos possam responder sem soar como um humano.

A menos que os legisladores exijam uma configuração padrão não personificada para usuários menores de idade de chatbots, apegos doentios entre jovens e bots são inevitáveis.