Em uma reviravolta que não surpreende ninguém que tem prestado atenção na abordagem 'cole todos os dados, pergunte depois' da indústria de IA, a xAI de Elon Musk foi atingida por um processo alegando que seus modelos Grok foram treinados com materiais de abuso sexual infantil (CSAM). A queixa, protocolada na quarta-feira por uma autora identificada apenas como Jane Doe, alega que suas imagens de abuso na infância - capturadas no início dos anos 2000, quando ela estava em idade pré-escolar - foram usadas para treinar as capacidades de geração de imagem e vídeo do Grok.

As imagens de Doe há muito são hashadas por grupos como o National Center for Missing and Exploited Children (NCMEC) e o Canadian Centre for Child Protection (CCCP) para ajudar a identificar e remover tal conteúdo. Ela recebe alertas do Sistema de Notificação de Vítimas do Departamento de Justiça dos EUA sempre que pode ser vítima em uma nova investigação. Então você pode imaginar o choque dela quando o CCCP a notificou que CSAM gerado por IA a retratando havia sido encontrado na xAI. A queixa alega que fóruns online apresentavam 'ofensores conversando sobre criar CSAM gerado por IA da Autora e outras vítimas conhecidas, legadas, de CSAM em situação semelhante.'

Doe agora teme que a xAI não apenas tenha facilitado a criação de mais imagens do período mais angustiante de sua vida, mas também que a empresa tenha armazenado e usado esses resultados gerados por IA para treinar ainda mais o Grok. A queixa sugere que o Grok pode ter sido treinado tanto nas imagens originais que a assombram há mais de 20 anos quanto nas recentes geradas por IA.

Este é o primeiro caso a acusar a xAI de treinar com CSAM, mas a queixa é um pouco escassa em detalhes para essa alegação específica. Ela observa que as imagens de Doe faziam parte de uma Lista de Hash de CSAM mantida pelo NCMEC, e 'esse mesmo material' supostamente 'fez parte do conjunto de dados que a xAI usou para construir as capacidades de geração de imagem e vídeo do Grok.' A queixa também aponta que, embora a xAI filtre conteúdo violento dos dados de treinamento, seus termos não excluem explicitamente CSAM, imagens íntimas não consensuais (NCII) ou material NSFW. E como remover a influência de um exemplo de treinamento de um modelo já treinado é tecnicamente difícil, qualquer CSAM ingerido antes da remoção provavelmente continuou a moldar as saídas do Grok.

A ação coletiva proposta por Doe busca representar todas as vítimas cujas imagens de infância foram usadas para gerar CSAM do Grok. Ela acusa a X de violar leis federais de pornografia infantil e a Lei de Masha, ambas dando a sobreviventes de CSAM o direito de processar. A advogada de Doe, Margaret E. Mabie, sugeriu que 'a xAI fez todas as três coisas' - produção, posse e distribuição.

Se Doe vencer, a xAI poderá dever danos a todas as vítimas que provarem que o Grok gerou CSAM com base em suas fotos reais. Doe também quer que o tribunal ordene à xAI que destrua todo o CSAM gerado pelo Grok e bloqueie o Grok de gerar qualquer saída sexualizada, incluindo as 'fotos de biquíni' NSFW que Musk promoveu. Sarah London, outra advogada de Doe, disse em um comunicado à imprensa que Doe 'viveu por quase duas décadas sabendo que imagens da pior coisa que já lhe aconteceu estão circulando entre predadores online, e que podem ressurgir a qualquer momento. A xAI deve ser responsabilizada por treinar conscientemente seus modelos com imagens do abuso horrível que ela sofreu, e com as imagens de abuso de todos os outros sobreviventes nesta classe.'

A X não respondeu ao pedido de comentário da Ars - porque por que comentar quando você pode simplesmente deixar o sistema legal resolver?