xAI verklagt Nutzer wegen genau dem, was Elon Musk behauptete, Grok könne es nicht

Angesichts des wachsenden Drucks, einzuräumen, dass Grok immer noch zur Erstellung nicht einvernehmlicher sexualisierter Bilder von Erwachsenen und Minderjährigen verwendet werden kann, reichte xAI am Dienstag eine Klage ein und verklagte den ersten Nutzer, den Elon Musks Firma beschuldigt, seinen Chatbot zur Erstellung illegaler Inhalte verwendet zu haben.

Die Beschwerde richtet sich gegen Terry Wayne Harwood, der Anfang dieses Jahres wegen Besitzes und Verbreitung von Material über sexuellen Kindesmissbrauch (CSAM) verhaftet wurde, wie das Büro des Staatsanwalts von South Carolina mitteilte.

Wie xAI behauptet, half das Unternehmen bei dieser Festnahme, nachdem es entdeckt hatte, dass Harwood monatelang zwei xAI-Konten genutzt hatte, um nicht-sexuelle Bilder mehrerer Opfer zu entkleiden oder zu „nudifizieren“, darunter ein junges Mädchen, das erst 10 Jahre alt zu sein schien.

xAIs Klage kommt etwas mehr als eine Woche, nachdem sich ein weiteres junges Mädchen einer geplanten Sammelklage angeschlossen hatte, die mehrere Kinder vertritt, die angeblich durch Grok geschädigt wurden. Sie behauptete, dass ihr Stiefvater Selbstmord begangen habe, nachdem entdeckt worden war, dass er Grok, möglicherweise in Verbindung mit anderen KI-Tools, verwendet hatte, um 7.000 sexualisierte Bilder von ihr zu erstellen und diese dann im Darknet zu verbreiten.

In diesem Fall behauptete das Opfer, dass xAI sich weigerte, der Polizei bei der Identifizierung des Nutzers zu helfen, der ihr Bild in Grok hochgeladen hatte. Um zu untermauern, dass dies gängige Praxis von xAI sei, zitierten ihre Anwälte einen Bericht des National Center for Missing & Exploited Children (NCMEC) aus dem Jahr 2026, der bestätigte, dass 90 Prozent der CyberTipline-Meldungen von xAI „für die Strafverfolgung nicht verwertbar waren, weil xAI es ablehnte, Nutzerinformationen bereitzustellen, die es der Strafverfolgung ermöglichen würden, Täter aufzuspüren und zu lokalisieren.“

Während Opfer X beschuldigten, Täter zu schützen, hatte Musk zuvor behauptet, er habe keine Beispiele von Grok-generiertem CSAM gesehen. Anstatt die Ausgaben von Grok einzuschränken, um CSAM-Ausgaben unmöglich zu machen, warnte Musk die Nutzer, verantwortungsbewusst zu handeln, und postete am 3. Januar auf X: „Jeder, der Grok zur Erstellung illegaler Inhalte verwendet, wird die gleichen Konsequenzen erleiden, als ob er illegale Inhalte hochladen würde.“

Während Musk jedoch durchpostete, ignorierte Harwood angeblich Musks Warnung und forderte Grok so oft auf, bis der Chatbot wahrscheinlich nicht einvernehmliche explizite Bilder generierte.

Jetzt kann Musk anscheinend nicht mehr leugnen, dass Grok CSAM erstellt. xAIs Klage behauptete, dass Harwood mindestens zwei Konten mit komplizierten Benutzernamen – „ceae2cb4-a9f6-4885-8ae9-6e2096d084f4“ und „befccb94-4029-454d-9f1f-0d4945e8fa7c“ – verwendete, um vom 8. Dezember bis zum 18. Februar illegale Inhalte zu generieren.

Manchmal verhinderten Grok-Sicherheitsvorkehrungen schädliche Ausgaben, indem sie sich weigerten, einige der Aufforderungen zu befolgen, „mit der Begründung, dass solches Material gegen Groks Inhaltsmoderationsrichtlinien verstoße.“ Die Klage enthält ein Beispiel einer besonders gruseligen Aufforderung, die Grok ablehnte, wobei Phrasen wie „weißer Schleim“ verwendet wurden, um die Absicht zu verschleiern, sexualisierte Bilder zu generieren.

Diese bestimmte Aufforderung wurde jedoch aus einem offensichtlichen Grund abgelehnt. Harwood bat den Chatbot ausdrücklich, „all ihre Kleidung zu entfernen“, was direkt gegen xAIs Nutzungsbedingungen verstößt, die Aufforderungen, echte Menschen zu entkleiden, verbieten. In der geplanten Sammelklage wird behauptet, dass xAI viele schlechte Anfragen übersieht und im Fall des jüngsten Opfers nur eine Aufforderung zur Darstellung von „Gruppenvergewaltigung“ von 7.000 schädlichen Ausgaben an das NCMEC meldete.

Um zu vermeiden, dass andere böswillige Akteure Sicherheitsvorkehrungen umgehen, enthielt xAI keine Beispiele für Harwoods erfolgreiche Aufforderungen oder beschrieb Methoden zur Umgehung von Filtern. xAI behauptete lediglich, dass Harwood Aufforderungen modifizierte, um Sicherheitsvorkehrungen zu umgehen, „in klarem Verstoß gegen die xAI-Nutzungsbedingungen und US-amerikanisches Recht“, einschließlich „einiger“ Anfragen nach „obszönen“ Bildern, die das „Abbild minderjähriger Kinder“ betrafen.

Ein Sprecher des Büros des Generalstaatsanwalts von South Carolina teilte Ars mit, dass Harwoods Fall noch anhängig sei. Konkret wurde er angeklagt, CSAM „durch die Nutzung einer Künstliche-Intelligenz-Plattform“ „verbreitet, transportiert, ausgestellt, empfangen, verkauft, gekauft, ausgetauscht oder angeworben“ zu haben.

Der Sprecher war nicht befugt zu bestätigen, ob Grok die Plattform war.