Enfrentando una presión creciente para reconocer que Grok aún puede usarse para generar imágenes sexualizadas no consentidas de adultos y menores, xAI presentó una demanda el martes, demandando al primer usuario que la firma de Elon Musk ha acusado de usar su chatbot para crear contenido ilegal.

La queja apunta a Terry Wayne Harwood, quien fue arrestado a principios de este año por posesión y distribución de material de abuso sexual infantil (CSAM), según anunció la oficina del fiscal de Carolina del Sur.

Según alegó xAI, la empresa ayudó en ese arresto después de descubrir que Harwood había estado usando dos cuentas de xAI durante meses para desnudar o "desnudificar" imágenes no sexuales de múltiples víctimas, incluida una niña pequeña que parecía tener tan solo 10 años.

La demanda de xAI llega poco más de una semana después de que otra niña pequeña se uniera a una demanda colectiva propuesta que representa a varios niños supuestamente perjudicados por Grok. Ella alegó que su padrastro se suicidó después de que se descubrió que usaba Grok, posiblemente junto con otras herramientas de IA, para crear 7.000 imágenes sexualizadas de ella y luego distribuirlas en la dark web.

En ese caso, la víctima alegó que xAI se negó a ayudar a la policía a identificar al usuario que subió su imagen a Grok. Para respaldar las afirmaciones de que es una práctica común de xAI, sus abogados citaron un informe de 2026 del Centro Nacional para Menores Desaparecidos y Explotados (NCMEC) que confirma que el 90 por ciento de los informes de CyberTipline de xAI "no eran procesables por las fuerzas del orden porque xAI se negó a incluir información del usuario que permitiera a las autoridades rastrear y localizar a los perpetradores".

Mientras las víctimas acusaban a X de proteger a los depredadores, Musk había mantenido previamente que no había visto ningún ejemplo de CSAM generado por Grok. En lugar de restringir los resultados de Grok para imposibilitar la generación de CSAM, Musk advirtió a los usuarios que actuaran responsablemente, publicando en X el 3 de enero que "cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal".

Mientras Musk publicaba esto, sin embargo, Harwood supuestamente ignoraba la advertencia de Musk y solicitaba a Grok tantas veces como fuera necesario para que el chatbot generara imágenes explícitas probablemente no consentidas.

Ahora Musk aparentemente no puede negar que Grok genera CSAM. La demanda de xAI afirmó que Harwood usó al menos dos cuentas con nombres de usuario complicados - "ceae2cb4-a9f6-4885-8ae9-6e2096d084f4" y "befccb94-4029-454d-9f1f-0d4945e8fa7c" - para generar contenido ilegal desde el 8 de diciembre hasta el 18 de febrero.

A veces las salvaguardas de Grok sí prevenían resultados dañinos, "negándose a seguir" algunas de las indicaciones "sobre la base de que dicho material violaba las barreras de moderación de contenido de Grok". La demanda incluye un ejemplo de una indicación especialmente espeluznante que Grok rechazó, usando frases como "slime blanco" para ocultar la intención de generar imágenes sexualizadas.

Esa indicación en particular pudo haber sido rechazada por una razón obvia, sin embargo. Harwood pidió explícitamente al chatbot que "le quitara toda la ropa", lo que viola directamente los términos de usuario de xAI contra solicitudes de desnudar a personas reales. En la demanda colectiva propuesta, se alega que xAI pasa por alto muchas solicitudes malas, reportando solo al NCMEC una indicación para representar "violación en grupo" de 7.000 resultados dañinos en el caso de la víctima más reciente.

Probablemente para evitar que otros malos actores eludan las salvaguardas, xAI no incluyó ejemplos de las indicaciones exitosas de Harwood ni describió métodos utilizados para evitar los filtros. xAI solo alegó que Harwood modificó las indicaciones para sortear las salvaguardas "en clara violación de los Términos de Servicio de xAI y de la ley estadounidense", incluyendo "algunas" solicitudes de imágenes "obscenas" que involucraban la "semejanza de niños menores de edad".

Un portavoz de la oficina del fiscal general de Carolina del Sur dijo a Ars que el caso de Harwood aún está pendiente. Específicamente, ha sido acusado de "distribuir, transportar, exhibir, recibir, vender, comprar, intercambiar o solicitar CSAM que fue 'a través del uso de una plataforma de inteligencia artificial'".

El portavoz no estaba autorizado para verificar si Grok era la plataforma usada.