Sotto pressione crescente per ammettere che Grok può ancora essere usato per generare immagini sessualizzate non consensuali di adulti e minori, xAI ha intentato martedì una causa, citando in giudizio il primo utente che l'azienda di Elon Musk ha accusato di aver usato il suo chatbot per creare contenuti illegali.

La denuncia riguarda Terry Wayne Harwood, arrestato all'inizio di quest'anno per possesso e distribuzione di materiale pedopornografico (CSAM), ha annunciato l'ufficio del procuratore della Carolina del Sud.

Come sostenuto da xAI, l'azienda ha collaborato all'arresto dopo aver scoperto che Harwood usava due account xAI da mesi per spogliare o "nudificare" immagini non sessuali di molteplici vittime, inclusa una bambina che sembrava avere appena 10 anni.

La causa di xAI arriva poco più di una settimana dopo che un'altra bambina si è unita a una proposta class action che rappresenta diversi bambini presumibilmente danneggiati da Grok. Ha sostenuto che il suo patrigno si è suicidato dopo essere stato scoperto a usare Grok, forse in combinazione con altri strumenti di IA, per creare 7.000 immagini sessualizzate di lei e poi distribuirle sul dark web.

In quel caso, la vittima ha sostenuto che xAI ha rifiutato di aiutare la polizia a identificare l'utente che ha caricato la sua immagine su Grok. A sostegno delle affermazioni che si tratta di una pratica comune di xAI, i suoi avvocati hanno citato un rapporto del 2026 del National Center for Missing & Exploited Children (NCMEC) che conferma che il 90% delle segnalazioni di xAI al CyberTipline "non erano utilizzabili dalle forze dell'ordine perché xAI ha rifiutato di includere informazioni sull'utente che avrebbero permesso alle forze dell'ordine di rintracciare e localizzare i perpetratori".

Mentre le vittime accusavano X di proteggere i predatori, Musk aveva precedentemente sostenuto di non aver visto alcun esempio di CSAM generato da Grok. Piuttosto che limitare gli output di Grok per rendere impossibile la creazione di CSAM, Musk ha avvertito gli utenti di agire responsabilmente, postando su X il 3 gennaio che "chiunque usi Grok per creare contenuti illegali subirà le stesse conseguenze come se caricasse contenuti illegali".

Mentre Musk postava, però, Harwood presumibilmente ignorava l'avvertimento di Musk e sollecitava Grok tutte le volte necessarie per ottenere dal chatbot immagini esplicite probabilmente non consensuali.

Ora Musk apparentemente non può più negare che Grok produca CSAM. La causa di xAI sostiene che Harwood ha usato almeno due account con nomi utente contorti - "ceae2cb4-a9f6-4885-8ae9-6e2096d084f4" e "befccb94-4029-454d-9f1f-0d4945e8fa7c" - per generare contenuti illegali dall'8 dicembre al 18 febbraio.

A volte le salvaguardie di Grok hanno impedito output dannosi, "rifiutando di seguire" alcuni dei prompt "sulla base del fatto che tale materiale violava le barriere di moderazione dei contenuti di Grok". La causa include un esempio di un prompt particolarmente inquietante che Grok ha rifiutato, usando frasi come "slime bianco" per mascherare l'intento di generare immagini sessualizzate.

Quel particolare prompt potrebbe essere stato rifiutato per una ragione ovvia, però. Harwood chiedeva esplicitamente al chatbot di "rimuovere tutti i suoi vestiti", violando direttamente i termini d'uso di xAI contro le richieste di spogliare persone reali. Nella proposta class action, si sostiene che xAI ignori molte richieste dannose, segnalando al NCMEC solo un prompt per raffigurare "stupro di gruppo" su 7.000 output dannosi nel caso della vittima più recente.

Probabilmente per evitare che altri malintenzionati aggirino le salvaguardie, xAI non ha incluso esempi dei prompt riusciti di Harwood né descritto i metodi usati per bypassare i filtri. xAI ha solo sostenuto che Harwood ha modificato i prompt per aggirare le salvaguardie "in chiara violazione dei Termini di Servizio di xAI e della legge statunitense", incluse "alcune" richieste di immagini "oscene" che coinvolgono la "somiglianza di bambini minorenni".

Un portavoce dell'ufficio del procuratore generale della Carolina del Sud ha detto ad Ars che il caso di Harwood è ancora in corso. In particolare, è stato accusato di "distribuzione, trasporto, esposizione, ricezione, vendita, acquisto, scambio o sollecitazione di CSAM che era 'attraverso l'uso di una piattaforma di intelligenza artificiale'".

Il portavoce non era autorizzato a verificare se Grok fosse la piattaforma usata.