xAI, 엘론 머스크가 그록은 못 한다고 우겼던 일을 한 사용자를 고소하다

그록이 여전히 성인과 미성년자의 동의 없는 성적 이미지를 생성하는 데 사용될 수 있다는 점을 인정해야 한다는 압박이 거세지는 가운데, xAI는 화요일 소송을 제기했다. 엘론 머스크의 회사가 챗봇을 이용해 불법 콘텐츠를 만들었다고 고발한 첫 번째 사용자를 상대로 한 소송이다.

고소장은 사우스캐롤라이나 주 검찰청이 발표한 바와 같이 올해 초 아동 성적 학대 자료(CSAM) 소지 및 유포 혐의로 체포된 테리 웨인 하우드를 겨냥하고 있다.

xAI의 주장에 따르면, 회사는 하우드가 여러 달 동안 두 개의 xAI 계정을 사용해 여러 피해자(10살로 보이는 어린 소녀 포함)의 비성적 이미지를 벗기거나 '누디파이'한 사실을 발견한 후 체포에 협조했다.

xAI의 소송은 불과 일주일여 전에 다른 어린 소녀가 그록으로 인해 피해를 입었다며 제안된 집단 소송에 합류한 후 나왔다. 그녀는 계부가 그록(다른 AI 도구와 함께 사용되었을 가능성 있음)을 이용해 자신의 성적 이미지 7,000장을 생성한 후 다크 웹에 유포한 사실이 발각되자 자살했다고 주장했다.

해당 사건에서 피해자는 xAI가 자신의 이미지를 그록에 업로드한 사용자를 식별하는 데 경찰을 돕기를 거부했다고 주장했다. 변호인들은 이것이 xAI의 일반적인 관행임을 뒷받침하기 위해 2026년 전국 실종 및 착취 아동 센터(NCMEC) 보고서를 인용했는데, 이 보고서는 xAI의 사이버팁라인 신고 중 90%가 '법 집행 기관이 가해자를 추적하고 찾을 수 있도록 하는 사용자 정보를 xAI가 제공하지 않았기 때문에 법적 조치가 불가능했다'고 확인했다.

피해자들이 X가 가해자를 보호한다고 비난하는 가운데, 머스크는 이전에 그록이 생성한 CSAM 사례를 본 적이 없다고 주장해 왔다. 머스크는 그록의 출력을 제한해 CSAM 생성을 불가능하게 만들기보다는 사용자들에게 책임감 있게 행동하라고 경고하며, 1월 3일 X에 '그록으로 불법 콘텐츠를 만드는 사람은 누구나 불법 콘텐츠를 업로드한 것과 같은 결과를 겪게 될 것'이라고 게시했다.

하지만 머스크가 그렇게 게시하는 동안 하우드는 머스크의 경고를 무시하고 그록이 동의 없는 노골적인 이미지를 생성할 때까지 여러 번 프롬프트를 입력한 것으로 알려졌다.

이제 머스크는 그록이 CSAM을 만든다는 사실을 부인할 수 없을 것으로 보인다. xAI의 소송은 하우드가 12월 8일부터 2월 18일까지 'ceae2cb4-a9f6-4885-8ae9-6e2096d084f4'와 'befccb94-4029-454d-9f1f-0d4945e8fa7c'라는 복잡한 사용자 이름을 가진 최소 두 개의 계정을 사용해 불법 콘텐츠를 생성했다고 주장했다.

때때로 그록의 안전장치가 유해한 출력을 막아 '해당 자료가 그록의 콘텐츠 중재 가드레일을 위반한다'는 이유로 일부 프롬프트를 '따르기를 거부'했다. 소송에는 그록이 거부한 특히 소름 끼치는 프롬프트의 예가 포함되어 있는데, 성적 이미지 생성을 위한 의도를 숨기기 위해 '하얀 점액'과 같은 표현을 사용했다.

하지만 그 특정 프롬프트는 명백한 이유로 거부되었을 수 있다. 하우드는 챗봇에게 '그녀의 모든 옷을 벗겨라'고 명시적으로 요청했는데, 이는 실제 인물을 벗기라는 요청을 금지하는 xAI 사용자 약관을 직접 위반하는 것이다. 제안된 집단 소송에서는 xAI가 많은 나쁜 요청을 간과하고, 가장 최근 피해자의 경우 7,000개의 유해 출력 중 '강간'을 묘사하라는 프롬프트 하나만 NCMEC에 신고했다고 주장된다.

다른 나쁜 행위자들이 안전장치를 우회하는 것을 피하기 위해, xAI는 하우드의 성공적인 프롬프트 예시나 필터를 우회하는 데 사용된 방법을 포함하지 않았다. xAI는 하우드가 'xAI 이용약관과 미국 법률을 명백히 위반하여' 안전장치를 우회하기 위해 프롬프트를 수정했으며, '미성년 아동의 초상'을 포함한 '외설적인' 이미지에 대한 '일부' 요청을 했다고만 주장했다.

사우스캐롤라이나 주 검찰청 대변인은 Ars에 하우드의 사건이 아직 진행 중이라고 말했다. 구체적으로, 그는 '인공지능 플랫폼을 통해' CSAM을 '유포, 운반, 전시, 수신, 판매, 구매, 교환 또는 유인'한 혐의로 기소되었다.

대변인은 그록이 해당 플랫폼인지 확인할 권한이 없다고 말했다.