Onder toenemende druk om te erkennen dat Grok nog steeds kan worden gebruikt om niet-consensuele seksuele afbeeldingen van volwassenen en minderjarigen te genereren, heeft xAI dinsdag een rechtszaak aangespannen tegen de eerste gebruiker die Elon Musks bedrijf ervan beschuldigt zijn chatbot te hebben gebruikt om illegale inhoud te creëren.

De klacht richt zich op Terry Wayne Harwood, die eerder dit jaar werd gearresteerd voor het bezit en verspreiden van kinderpornografisch materiaal (CSAM), zo maakte het kantoor van de procureur van South Carolina bekend.

Volgens xAI hielp het bedrijf bij die arrestatie nadat het ontdekte dat Harwood maandenlang twee xAI-accounts had gebruikt om niet-seksuele afbeeldingen van meerdere slachtoffers uit te kleden of te 'naaktmaken', waaronder een jong meisje dat eruitzag alsof het pas 10 jaar oud was.

De rechtszaak van xAI komt iets meer dan een week nadat een ander jong meisje zich aansloot bij een voorgestelde class action namens verschillende kinderen die naar verluidt schade hebben ondervonden van Grok. Zij beweerde dat haar stiefvader zelfmoord pleegde nadat hij was ontdekt terwijl hij Grok, mogelijk in combinatie met andere AI-tools, gebruikte om 7.000 seksuele afbeeldingen van haar te maken en deze vervolgens op het dark web te verspreiden.

In die zaak beweerde het slachtoffer dat xAI weigerde de politie te helpen bij het identificeren van de gebruiker die haar afbeelding naar Grok had geüpload. Ter ondersteuning van de bewering dat dit de gangbare praktijk van xAI is, citeerden haar advocaten een rapport uit 2026 van het National Center for Missing & Exploited Children (NCMEC) waarin wordt bevestigd dat 90 procent van de CyberTipline-rapporten van xAI 'niet bruikbaar waren voor wetshandhaving omdat xAI weigerde gebruikersinformatie te verstrekken waarmee wetshandhaving daders kon opsporen en lokaliseren.'

Terwijl slachtoffers X ervan beschuldigden daders te beschermen, had Musk eerder volgehouden dat hij geen voorbeelden had gezien van door Grok gegenereerd CSAM. In plaats van maatregelen te nemen om Groks outputs te beperken zodat CSAM-outputs onmogelijk worden, waarschuwde Musk gebruikers om verantwoordelijk te handelen, en plaatste op 3 januari op X: 'Iedereen die Grok gebruikt om illegale inhoud te maken, zal dezelfde gevolgen ondervinden als wanneer ze illegale inhoud uploaden.'

Terwijl Musk hierover postte, negeerde Harwood naar verluidt Musks waarschuwing en bleef hij Grok zo vaak als nodig prompts geven om de chatbot waarschijnlijk niet-consensuele expliciete afbeeldingen te laten genereren.

Nu kan Musk blijkbaar niet meer ontkennen dat Grok CSAM maakt. De rechtszaak van xAI beweerde dat Harwood ten minste twee accounts met ingewikkelde gebruikersnamen - 'ceae2cb4-a9f6-4885-8ae9-6e2096d084f4' en 'befccb94-4029-454d-9f1f-0d4945e8fa7c' - gebruikte om van 8 december tot 18 februari illegale inhoud te genereren.

Soms voorkwamen Groks beveiligingen schadelijke outputs, door 'te weigeren' sommige prompts 'op te volgen op basis van het feit dat dergelijk materiaal in strijd was met Groks contentmoderatie-richtlijnen.' De rechtszaak bevat een voorbeeld van een bijzonder griezelige prompt die Grok afwees, waarbij zinnen als 'witte slijm' werden gebruikt om de intentie om seksuele afbeeldingen te genereren te verhullen.

Die specifieke prompt werd waarschijnlijk om een voor de hand liggende reden afgewezen. Harwood vroeg de chatbot expliciet om 'al haar kleding uit te trekken', wat direct in strijd is met xAI's gebruiksvoorwaarden tegen verzoeken om echte mensen uit te kleden. In de voorgestelde class action wordt beweerd dat xAI veel slechte verzoeken over het hoofd ziet, en slechts één prompt om 'groepsverkrachting' af te beelden rapporteert aan NCMEC van de 7.000 schadelijke outputs in de zaak van het meest recente slachtoffer.

Waarschijnlijk om te voorkomen dat andere kwaadwillenden beveiligingen omzeilen, bevatte xAI geen voorbeelden van Harwoods succesvolle prompts of beschreef het methoden om filters te omzeilen. xAI beweerde alleen dat Harwood prompts aanpaste om beveiligingen te omzeilen 'in duidelijke schending van de xAI-gebruiksvoorwaarden en de Amerikaanse wet', waaronder 'sommige' verzoeken voor 'obscene' afbeeldingen met de 'gelijkenis van minderjarige kinderen.'

Een woordvoerder van het kantoor van de procureur-generaal van South Carolina vertelde Ars dat de zaak van Harwood nog loopt. Specifiek is hij aangeklaagd voor 'het verspreiden, transporteren, tentoonstellen, ontvangen, verkopen, kopen, ruilen of vragen van CSAM dat 'via het gebruik van een kunstmatige intelligentieplatform' was.'

De woordvoerder was niet gemachtigd om te bevestigen of Grok het platform was.