Elon Musks xAI försöker stämma sig ur en Grok-kris, efter att arresteringar av Grok-användare som anklagas för att ha skapat barnpornografiskt material (CSAM) har lett till stämningar från barn som vill tvinga xAI att ändra verktyget för att blockera skadliga utdata.

Tidigare denna månad började xAI stämma användare som påstås kringgå dess säkerhetsåtgärder för att generera AI-CSAM, i hopp om att en tidig domstolsseger ska garantera att företaget inte hålls ansvarigt för påstått användargenererat innehåll.

Som nästa drag pekade Grok-tillverkaren på den stämningen i ett klagomål som lämnades in på måndagen, där man anklagar Minnesota för att försöka tvinga fram ändringar i Grok och Grok Imagine genom att verkställa ett förbud mot avklädningsteknik som skulle göra xAI ansvarigt för de skadliga utdatan, samt utdata som påstås inte sexualisera människor utan samtycke. Enligt xAI är stämningen av en Grok-användare bevis för att xAI redan gör allt i sin makt för att straffa onda aktörer, och därför förtjänar Grok safe harbor från Minnesotas förbud.

Minnesotas lag – som ska träda i kraft den 1 augusti – hotar företag som xAI med böter på upp till 500 000 dollar för varje enskild skadlig utdata som upptäcks i delstaten. Som xAI förklarar blir det snabbt mycket pengar, med tanke på att vissa Grok-användare anklagas för att ha skapat tusentals bilder av enskilda offer. Senast stämdes xAI förra veckan efter att ha tipsat polisen om en välkänd barnfotograf i Arkansas som påstås ha använt Grok för att sexualisera bilder han tagit av hundratals kunder. I ett klagomål från en 10-årig Jane Doe påstås fotografen ha gjort hundratals bilder av Doe och tusentals bilder och videor av andra barn. Does advokat berättade för Ars att många av dessa barn förbereder sig för att lämna in egna stämningar, och dessa krav kan komma att läggas till en potentiell grupptalan som lämnades in i mars av unga flickor i Tennessee.

När man räknar på det verkar xAI ha fått panik och argumenterar att böter för AI-verktygstillverkare för varje utdata är överdrivet, särskilt eftersom Minnesotas lag inte har något distributionskrav och potentiellt bötfäller xAI för bilder som bara användaren såg:

”Ett företag vars användare bara begär tio bilder i strid med lagen skulle möta exponering på upp till 5 miljoner dollar i enbart civila påföljder. Ett företag med tusen lagöverträdande bilder kunde bötfällas med upp till 500 miljoner dollar. Och ett företag vars användare skapade hundra tusen bilder som omfattas av [lagen] (inte alls osannolikt för ett allmänt tillgängligt program med miljontals användare som genererar miljarder bilder) kunde vara skyldigt hisnande 50 miljarder dollar.”

Dessutom ger lagen offer rätt att stämma xAI för varje enskild utdata, vilket ökar xAI:s finansiella risker.

Påföljderna är så allvarliga, säger xAI i sin stämning, att företaget äntligen förbereder sig för att uppdatera Grok för att blockera skadliga utdata efter mer än sex månaders kritik och utredningar som pressat företaget att skärpa sina säkerhetsåtgärder.

”Konfronterat med strikt ansvar på 500 000 dollar per bild och ingen safe harbor, har xAI inget praktiskt val än att begränsa Grok Imagens bildredigeringsfunktioner på olika sätt när lagen träder i kraft den 1 augusti 2026”, argumenterade xAI. ”Skyddat tal som var fritt tillgängligt innan lagen träder i kraft kommer därmed att kylas ner.”

Men xAI skulle föredra att lämna Grok oförändrat och fortsätta förlita sig på sina användarvillkor som stipulerar att användare kan stängas av för att använda Grok för att göra CSAM eller andra typer av icke-samtyckliga intima bilder (NCII), enligt stämningen.

”Men för [lagen] och dess påföljder skulle xAI fortsätta att erbjuda redigeringsfunktionen precis som den gör idag”, säger xAI.

För att försvara Grok vänder sig Musks företag till det första tillägget och argumenterar att Minnesotas lag är ett ”klumpigt försök att förbjuda ’avklädning’” som ”sveper in ett brett spektrum av fullt skyddat tal”. Det inkluderar nakna bilder genererade med ”konstnärligt, vetenskapligt, politiskt, satiriskt, pedagogiskt, medicinskt eller religiöst värde”, argumenterade xAI.

Mest upprörande: ”Ansvar uppstår även om de avbildade personerna samtyckte – eller skapade bilden själva.”