Enfrentando pressão crescente para reconhecer que Grok ainda pode ser usado para gerar imagens sexualizadas não consensuais de adultos e menores, a xAI entrou com uma ação judicial na terça-feira, processando o primeiro usuário que a empresa de Elon Musk acusou de usar seu chatbot para criar conteúdo ilegal.

A queixa tem como alvo Terry Wayne Harwood, que foi preso no início deste ano por posse e distribuição de materiais de abuso sexual infantil (CSAM), anunciou o escritório do procurador da Carolina do Sul.

Segundo a xAI, a empresa auxiliou nessa prisão depois de descobrir que Harwood usava duas contas xAI por meses para despir ou “nudificar” imagens não sexuais de múltiplas vítimas, incluindo uma menina que parecia ter apenas 10 anos.

A ação da xAI ocorre pouco mais de uma semana depois que outra menina se juntou a uma proposta de ação coletiva representando várias crianças supostamente prejudicadas pelo Grok. Ela alegou que seu padrasto cometeu suicídio depois que foi descoberto usando Grok, possivelmente em conjunto com outras ferramentas de IA, para criar 7.000 imagens sexualizadas dela e depois distribuí-las na dark web.

Nesse caso, a vítima alegou que a xAI se recusou a ajudar a polícia a identificar o usuário que enviou sua imagem ao Grok. Para apoiar as alegações de que é prática comum da xAI, seus advogados citaram um relatório de 2026 do Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) confirmando que 90% dos relatórios do CyberTipline da xAI “não eram acionáveis pelas autoridades porque a xAI se recusou a incluir informações do usuário que permitiriam às autoridades rastrear e localizar os perpetradores.”

Enquanto as vítimas acusavam o X de proteger predadores, Musk havia mantido anteriormente que não tinha visto nenhum exemplo de CSAM gerado pelo Grok. Em vez de restringir as saídas do Grok para tornar impossível a geração de CSAM, Musk alertou os usuários para agirem com responsabilidade, postando no X em 3 de janeiro que “qualquer um que usar o Grok para criar conteúdo ilegal sofrerá as mesmas consequências como se tivesse enviado conteúdo ilegal.”

Enquanto Musk postava isso, no entanto, Harwood supostamente ignorava o aviso de Musk e solicitava ao Grok quantas vezes fosse necessário para que o chatbot gerasse imagens explícitas provavelmente não consensuais.

Agora Musk aparentemente não pode negar que o Grok produz CSAM. A ação da xAI alegou que Harwood usou pelo menos duas contas com nomes de usuário complicados - “ceae2cb4-a9f6-4885-8ae9-6e2096d084f4” e “befccb94-4029-454d-9f1f-0d4945e8fa7c” - para gerar conteúdo ilegal de 8 de dezembro a 18 de fevereiro.

Às vezes, as salvaguardas do Grok impediam resultados prejudiciais, “recusando-se a seguir” alguns dos prompts “com base no fato de que tal material violava as barreiras de moderação de conteúdo do Grok.” A ação inclui um exemplo de um prompt especialmente assustador que o Grok rejeitou, usando frases como “gosma branca” para mascarar a intenção de gerar imagens sexualizadas.

Esse prompt em particular pode ter sido rejeitado por um motivo óbvio, no entanto. Harwood pediu explicitamente ao chatbot para “remover toda a roupa dela”, o que viola diretamente os termos de uso da xAI contra pedidos para despir pessoas reais. Na proposta de ação coletiva, alega-se que a xAI ignora muitos pedidos ruins, reportando ao NCMEC apenas um prompt para retratar “estupro coletivo” de 7.000 resultados prejudiciais no caso da vítima mais recente.

Provavelmente para evitar que outros malfeitores contornem as salvaguardas, a xAI não incluiu exemplos dos prompts bem-sucedidos de Harwood nem descreveu métodos usados para contornar os filtros. A xAI apenas alegou que Harwood modificou prompts para contornar as salvaguardas “em clara violação dos Termos de Serviço da xAI e da lei dos EUA”, incluindo “alguns” pedidos de imagens “obscenas” envolvendo a “semelhança de crianças menores.”

Um porta-voz do escritório do procurador-geral da Carolina do Sul disse ao Ars que o caso de Harwood ainda está pendente. Especificamente, ele foi acusado de “distribuir, transportar, exibir, receber, vender, comprar, trocar ou solicitar CSAM que foi ‘através do uso de uma plataforma de inteligência artificial.’”

O porta-voz não estava autorizado a verificar se o Grok era a plataforma usada.