Dans un rebondissement qui ne surprend absolument personne qui a suivi l'approche « collectons toutes les données, posons les questions plus tard » de l'industrie de l'IA, la société xAI d'Elon Musk a été frappée par une plainte alléguant que ses modèles Grok ont été entraînés sur des matériels d'abus sexuels sur enfants (CSAM). La plainte, déposée mercredi par une plaignante identifiée seulement comme Jane Doe, affirme que ses images d'abus de son enfance - capturées au début des années 2000 alors qu'elle était en âge préscolaire - ont été utilisées pour entraîner les capacités de génération d'images et de vidéos de Grok.

Les images de Doe ont longtemps été hachées par des groupes comme le Centre national pour les enfants disparus et exploités (NCMEC) et le Centre canadien de protection de l'enfance (CCPE) pour aider à identifier et supprimer ce genre de contenu. Elle reçoit des alertes du système de notification aux victimes du département de la Justice des États-Unis chaque fois qu'elle pourrait être victime dans une nouvelle enquête. Vous pouvez donc imaginer son choc lorsque le CCPE l'a informée que des CSAM générés par IA la représentant avaient été trouvés sur xAI. La plainte allègue que des forums en ligne présentaient des « délinquants discutant de la création de CSAM générés par IA de la plaignante et d'autres victimes connues, héritées, de CSAM ».

Doe craint maintenant que xAI n'ait non seulement facilité la création de plus d'images de la période la plus pénible de sa vie, mais aussi que l'entreprise ait stocké et utilisé ces sorties générées par IA pour entraîner davantage Grok. La plainte suggère que Grok pourrait avoir été entraîné à la fois sur les images originales qui la hantent depuis plus de 20 ans et sur les images générées par IA récentes.

C'est la première affaire à accuser xAI d'avoir entraîné Grok sur des CSAM, mais la plainte manque un peu de détails sur cette allégation spécifique. Elle note que les images de Doe faisaient partie d'une liste de hachage CSAM maintenue par le NCMEC, et que « ce même matériel » aurait « fait partie de l'ensemble de données que xAI a utilisé pour construire les capacités de génération d'images et de vidéos de Grok ». La plainte souligne également que bien que xAI filtre le contenu violent des données d'entraînement, ses conditions ne excluent pas explicitement les CSAM, les images intimes non consensuelles (NCII) ou le matériel NSFW. Et comme retirer l'influence d'un exemple d'entraînement d'un modèle déjà entraîné est techniquement difficile, tout CSAM ingéré avant le retrait a probablement continué à façonner les sorties de Grok.

La action de groupe proposée par Doe vise à représenter chaque victime dont les images d'enfance ont été utilisées pour générer des CSAM Grok. Elle accuse X de violer les lois fédérales sur la pornographie enfantine et la loi Masha, qui donnent toutes deux aux survivants de CSAM le droit de poursuivre. L'avocate de Doe, Margaret E. Mabie, a suggéré que « xAI a fait les trois » - production, possession et distribution.

Si Doe gagne, xAI pourrait devoir des dommages-intérêts à chaque victime qui peut prouver que Grok a généré des CSAM basés sur leurs vraies photos. Doe demande également au tribunal d'ordonner à xAI de détruire tous les CSAM générés par Grok et d'empêcher Grok de générer des sorties sexualisées, y compris les « photos en bikini » NSFW que Musk a promues. Sarah London, une autre avocate de Doe, a déclaré dans un communiqué de presse que Doe « a vécu près de deux décennies en sachant que des images de la pire chose qui lui soit arrivée circulent parmi les prédateurs en ligne, et qu'elles peuvent réapparaître à tout moment. xAI doit être tenu responsable d'avoir sciemment entraîné ses modèles sur des images de l'horrible abus qu'elle a subi, et sur les images d'abus de chaque autre survivant de cette classe. »

X n'a pas répondu à la demande de commentaire d'Ars - parce que pourquoi commenter quand on peut simplement laisser le système juridique s'en occuper ?