ग्रोक का उपयोग करके वयस्कों और नाबालिगों की गैर-सहमति वाली यौन छवियां बनाने की संभावना को स्वीकार करने के बढ़ते दबाव का सामना करते हुए, xAI ने मंगलवार को एक मुकदमा दायर किया, जिसमें एलन मस्क की फर्म पर पहली बार आरोप लगाया गया कि उसने अपने चैटबॉट का उपयोग अवैध सामग्री बनाने के लिए किया।

शिकायत टेरी वेन हारवुड को लक्षित करती है, जिसे इस साल की शुरुआत में बाल यौन शोषण सामग्री (CSAM) रखने और वितरित करने के आरोप में गिरफ्तार किया गया था, दक्षिण कैरोलिना अटॉर्नी कार्यालय ने घोषणा की।

जैसा कि xAI ने आरोप लगाया, कंपनी ने उस गिरफ्तारी में सहायता की जब पता चला कि हारवुड ने महीनों तक दो xAI खातों का उपयोग करके कई पीड़ितों की गैर-यौन छवियों को नग्न या "न्यूडिफाई" किया, जिसमें एक युवा लड़की भी शामिल थी जो 10 साल की लगती थी।

xAI का मुकदमा एक सप्ताह से कुछ अधिक समय बाद आया है जब एक अलग युवा लड़की ने कई बच्चों की ओर से एक प्रस्तावित वर्ग कार्रवाई में शामिल होने का अनुरोध किया, जो कथित तौर पर ग्रोक से प्रभावित हुए थे। उसने आरोप लगाया कि उसके सौतेले पिता ने आत्महत्या कर ली जब उसे पता चला कि वह ग्रोक का उपयोग कर रहा था, संभवतः अन्य AI उपकरणों के साथ, उसकी 7,000 यौन छवियां बनाने और फिर उन्हें डार्क वेब पर वितरित करने के लिए।

उस मामले में, पीड़ित ने आरोप लगाया कि xAI ने पुलिस को उस उपयोगकर्ता की पहचान करने में मदद करने से इनकार कर दिया जिसने उसकी छवि ग्रोक पर अपलोड की थी। यह दावा करने के लिए कि यह xAI की सामान्य प्रथा है, उसके वकीलों ने 2026 की नेशनल सेंटर फॉर मिसिंग एंड एक्सप्लॉइटेड चिल्ड्रन (NCMEC) रिपोर्ट का हवाला दिया जिसमें पुष्टि की गई कि xAI की 90 प्रतिशत CyberTipline रिपोर्ट "कानून प्रवर्तन के लिए कार्रवाई योग्य नहीं थीं क्योंकि xAI ने उपयोगकर्ता जानकारी शामिल करने से इनकार कर दिया जो कानून प्रवर्तन को अपराधियों को ट्रैक और पता लगाने की अनुमति देती।"

जैसे-जैसे पीड़ितों ने X पर शिकारियों को बचाने का आरोप लगाया, मस्क ने पहले बनाए रखा था कि उन्होंने ग्रोक-जनरेटेड CSAM का कोई उदाहरण नहीं देखा था। CSAM आउटपुट को असंभव बनाने के लिए ग्रोक के आउटपुट को प्रतिबंधित करने के बजाय, मस्क ने उपयोगकर्ताओं को जिम्मेदारी से कार्य करने की चेतावनी दी, 3 जनवरी को X पर पोस्ट करते हुए कहा कि "ग्रोक का उपयोग करके अवैध सामग्री बनाने वाले किसी भी व्यक्ति को वही परिणाम भुगतने होंगे जैसे कि वे अवैध सामग्री अपलोड करते हैं।"

हालांकि, जब मस्क पोस्ट कर रहे थे, हारवुड कथित तौर पर मस्क की चेतावनी को अनदेखा कर रहा था और ग्रोक को उतनी बार प्रॉम्प्ट कर रहा था जितनी बार चैटबॉट को संभावित गैर-सहमति वाली स्पष्ट छवियां उत्पन्न करने में लगा।

अब मस्क स्पष्ट रूप से इस बात से इनकार नहीं कर सकते कि ग्रोक CSAM बनाता है। xAI के मुकदमे में दावा किया गया कि हारवुड ने 8 दिसंबर से 18 फरवरी तक अवैध सामग्री उत्पन्न करने के लिए कम से कम दो खातों का उपयोग किया, जिनमें जटिल उपयोगकर्ता नाम थे - "ceae2cb4-a9f6-4885-8ae9-6e2096d084f4" और "befccb94-4029-454d-9f1f-0d4945e8fa7c"।

कभी-कभी ग्रोक सुरक्षा उपायों ने हानिकारक आउटपुट को रोका, "कुछ प्रॉम्प्ट का पालन करने से इनकार करते हुए" इस आधार पर कि ऐसी सामग्री ग्रोक की सामग्री मॉडरेशन सीमाओं का उल्लंघन करती है। मुकदमे में एक विशेष रूप से डरावने प्रॉम्प्ट का उदाहरण शामिल है जिसे ग्रोक ने अस्वीकार कर दिया, यौन छवियां उत्पन्न करने के इरादे को छिपाने के लिए "सफेद कीचड़" जैसे वाक्यांशों का उपयोग करते हुए।

हालांकि, वह विशेष प्रॉम्प्ट एक स्पष्ट कारण से अस्वीकार किया गया हो सकता है। हारवुड ने स्पष्ट रूप से चैटबॉट से "उसके सारे कपड़े उतारने" के लिए कहा, जो सीधे xAI उपयोगकर्ता शर्तों का उल्लंघन करता है जो वास्तविक लोगों को नग्न करने के अनुरोधों के खिलाफ हैं। प्रस्तावित वर्ग कार्रवाई में, यह आरोप लगाया गया है कि xAI बहुत सारे बुरे अनुरोधों को अनदेखा करता है, केवल सबसे हालिया पीड़ित के मामले में 7,000 हानिकारक आउटपुट में से एक प्रॉम्प्ट को NCMEC को रिपोर्ट करता है जिसमें "गैंग रेप" का चित्रण करने का अनुरोध किया गया था।

संभवतः अन्य बुरे अभिनेताओं को सुरक्षा उपायों को दरकिनार करने से बचने के लिए, xAI ने हारवुड के सफल प्रॉम्प्ट के उदाहरण या फिल्टर को बायपास करने के लिए उपयोग की जाने वाली विधियों का वर्णन नहीं किया। xAI ने केवल आरोप लगाया कि हारवुड ने सुरक्षा उपायों को दरकिनार करने के लिए प्रॉम्प्ट को संशोधित किया "xAI सेवा की शर्तों और अमेरिकी कानून के स्पष्ट उल्लंघन में," जिसमें "नाबालिग बच्चों की समानता" से जुड़ी "अश्लील" छवियों के लिए "कुछ" अनुरोध शामिल थे।

दक्षिण कैरोलिना अटॉर्नी जनरल कार्यालय के एक प्रवक्ता ने Ars को बताया कि हारवुड का मामला अभी भी लंबित है। विशेष रूप से, उस पर "एक कृत्रिम बुद्धिमत्ता प्लेटफॉर्म के उपयोग के माध्यम से" CSAM को "वितरित करने, परिवहन करने, प्रदर्शित करने, प्राप्त करने, बेचने, खरीदने, विनिमय करने या मांगने" का आरोप लगाया गया है।

प्रवक्ता यह सत्यापित करने के लिए अधिकृत नहीं था कि क्या ग्रोक वह प्लेटफॉर्म था जिसका उपयोग किया गया था।