I en vändning som inte förvånar någon som har följt AI-branschens 'samla all data, fråga senare'-approach, har Elon Musks xAI drabbats av en stämningsansökan som påstår att dess Grok-modeller tränades på material med sexuella övergrepp mot barn (CSAM). Klagomålet, som lämnades in på onsdagen av en målsägande som endast identifieras som Jane Doe, hävdar att hennes barndomsövergreppsbilder – tagna i början av 2000-talet när hon var i förskoleåldern – användes för att träna Groks bild- och videogenereringsförmågor.

Does bilder har länge hashats av grupper som National Center for Missing and Exploited Children (NCMEC) och Canadian Centre for Child Protection (CCCP) för att hjälpa till att identifiera och ta bort sådant innehåll. Hon får aviseringar från USA:s justitiedepartements brottsofferaviseringstjänst när hon kan vara ett offer i en ny utredning. Så du kan föreställa dig hennes chock när CCCP meddelade henne att AI-genererad CSAM som avbildade henne hade hittats på xAI. Klagomålet hävdar att onlineforum innehöll 'förövare som chattade om att skapa AI-genererad CSAM av Målsägande och andra liknande kända, tidigare offer för CSAM.'

Doe fruktar nu att xAI inte bara har gjort det lättare att skapa fler bilder av den mest plågsamma tiden i hennes liv, utan också att företaget har lagrat och använt dessa AI-genererade utdata för att ytterligare träna Grok. Klagomålet antyder att Grok kan ha tränats på både de ursprungliga bilderna som har hemsökt henne i över 20 år och de nyligen AI-genererade.

Detta är det första fallet som anklagar xAI för att träna på CSAM, men klagomålet är lite sparsamt på detaljer för just det påståendet. Det noterar att Does bilder ingick i en CSAM-hashlista som underhålls av NCMEC, och 'samma material' påstås 'ingick i datasetet som xAI använde för att bygga Groks bild- och videogenereringsförmågor.' Klagomålet påpekar också att även om xAI filtrerar bort våldsamt innehåll från träningsdata, så utesluter dess villkor inte uttryckligen CSAM, icke-samtyckesbaserade intima bilder (NCII) eller NSFW-material. Och eftersom det är tekniskt svårt att ta bort en träningsinfluens från en redan tränad modell, så fortsatte troligen all CSAM som intogs före borttagningen att forma Groks utdata.

Does föreslagna grupptalan avser att representera varje offer vars barndomsbilder har använts för att generera Grok-CSAM. Den anklagar X för att bryta mot federala barnpornografilagar och Masha's Law, som båda ger CSAM-överlevande rätt att stämma. Does advokat, Margaret E. Mabie, antydde att 'xAI gjorde alla tre' – produktion, innehav och distribution.

Om Doe vinner kan xAI bli skyldigt att betala skadestånd till varje offer som kan bevisa att Grok genererade CSAM baserat på deras riktiga foton. Doe vill också att domstolen ska beordra xAI att förstöra all Grok-genererad CSAM och blockera Grok från att generera sexualiserade utdata, inklusive de NSFW-'bikini-bilder' som Musk har marknadsfört. Sarah London, en annan av Does advokater, sade i ett pressmeddelande att Doe 'har levt i nästan två decennier med vetskapen att bilder av det värsta som någonsin hänt henne cirkulerar bland rovdjur online, och att de kan dyka upp igen när som helst. xAI måste hållas ansvarigt för att medvetet ha tränat sina modeller på bilder av den fruktansvärda övergrepp hon utsattes för, och på övergreppsbilderna av varje annan överlevare i denna grupp.'

X svarade inte på Ars begäran om kommentar – för varför kommentera när man bara kan låta rättssystemet reda ut det?