Sous pression croissante pour reconnaître que Grok peut encore être utilisé pour générer des images sexualisées non consenties d'adultes et de mineurs, xAI a déposé une plainte mardi, poursuivant le premier utilisateur que la firme d'Elon Musk a accusé d'avoir utilisé son chatbot pour créer du contenu illégal.

La plainte vise Terry Wayne Harwood, qui a été arrêté plus tôt cette année pour possession et distribution de matériel d'abus sexuel sur enfants (CSAM), a annoncé le bureau du procureur de Caroline du Sud.

Comme l'allègue xAI, l'entreprise a aidé à cette arrestation après avoir découvert que Harwood utilisait deux comptes xAI depuis des mois pour déshabiller ou « nudifier » des images non sexuelles de plusieurs victimes, dont une jeune fille qui semblait avoir à peine 10 ans.

La plainte de xAI intervient un peu plus d'une semaine après qu'une autre jeune fille a rejoint une action collective proposée représentant plusieurs enfants prétendument lésés par Grok. Elle a allégué que son beau-père s'est suicidé après avoir été découvert en train d'utiliser Grok, peut-être en conjonction avec d'autres outils d'IA, pour créer 7 000 images sexualisées d'elle et les distribuer sur le dark web.

Dans cette affaire, la victime a allégué que xAI avait refusé d'aider la police à identifier l'utilisateur qui avait téléchargé son image sur Grok. Pour étayer les affirmations selon lesquelles il s'agit d'une pratique courante de xAI, ses avocats ont cité un rapport 2026 du National Center for Missing & Exploited Children (NCMEC) confirmant que 90 % des signalements CyberTipline de xAI « n'étaient pas exploitables par les forces de l'ordre parce que xAI refusait d'inclure les informations utilisateur qui permettraient aux forces de l'ordre de retrouver et localiser les auteurs ».

Alors que les victimes accusaient X de protéger les prédateurs, Musk avait auparavant maintenu qu'il n'avait vu aucun exemple de CSAM généré par Grok. Plutôt que de restreindre les sorties de Grok pour rendre les sorties CSAM impossibles, Musk a averti les utilisateurs d'agir de manière responsable, postant sur X le 3 janvier que « quiconque utilise Grok pour créer du contenu illégal subira les mêmes conséquences que s'il téléchargeait du contenu illégal ».

Pendant que Musk postait, cependant, Harwood ignorait apparemment l'avertissement de Musk et sollicitait Grok autant de fois que nécessaire pour que le chatbot génère des images explicites probablement non consensuelles.

Maintenant, Musk ne peut apparemment plus nier que Grok produit du CSAM. La plainte de xAI affirme que Harwood a utilisé au moins deux comptes avec des noms d'utilisateur alambiqués - « ceae2cb4-a9f6-4885-8ae9-6e2096d084f4 » et « befccb94-4029-454d-9f1f-0d4945e8fa7c » - pour générer du contenu illégal du 8 décembre au 18 février.

Parfois, les garde-fous de Grok empêchaient les sorties nuisibles, « refusant de suivre » certaines invites « au motif que ce matériel violait les garde-fous de modération de contenu de Grok ». La plainte inclut un exemple d'invite particulièrement glauque que Grok a rejetée, utilisant des expressions comme « slime blanc » pour masquer l'intention de générer des images sexualisées.

Cette invite particulière a peut-être été rejetée pour une raison évidente, cependant. Harwood a explicitement demandé au chatbot de « retirer tous ses vêtements », ce qui viole directement les conditions d'utilisation de xAI contre les demandes de déshabillage de personnes réelles. Dans l'action collective proposée, il est allégué que xAI néglige beaucoup de mauvaises demandes, ne signalant au NCMEC qu'une seule invite représentant un « viol collectif » sur 7 000 sorties nuisibles dans le cas de la victime la plus récente.

Probablement pour éviter que d'autres mauvais acteurs contournent les garde-fous, xAI n'a pas inclus d'exemples des invites réussies de Harwood ni décrit les méthodes utilisées pour contourner les filtres. xAI a seulement allégué que Harwood modifiait les invites pour contourner les garde-fous « en violation claire des conditions d'utilisation de xAI et de la loi américaine », y compris « certaines » demandes d'images « obscènes » impliquant la « ressemblance d'enfants mineurs ».

Un porte-parole du bureau du procureur général de Caroline du Sud a déclaré à Ars que l'affaire de Harwood est toujours en cours. Plus précisément, il a été inculpé pour « distribution, transport, exposition, réception, vente, achat, échange ou sollicitation de CSAM qui était 'via l'utilisation d'une plateforme d'intelligence artificielle' ».

Le porte-parole n'était pas autorisé à vérifier si Grok était la plateforme utilisée.