Grok'un hala yetişkinlerin ve reşit olmayanların rızasız cinsel içerikli görüntülerini oluşturmak için kullanılabileceğini kabul etme baskısıyla karşı karşıya kalan xAI, Salı günü bir dava açarak Elon Musk'ın firmasının sohbet robotunu yasa dışı içerik oluşturmak için kullanmakla suçladığı ilk kullanıcıyı dava etti.
Şikayet, Güney Carolina savcılık ofisinin açıkladığına göre bu yılın başlarında çocuk cinsel istismar materyali (CSAM) bulundurma ve dağıtma suçundan tutuklanan Terry Wayne Harwood'u hedef alıyor.
xAI'nin iddiasına göre şirket, Harwood'un aylardır iki xAI hesabı kullanarak birden fazla mağdurun, aralarında 10 yaşında gibi görünen küçük bir kızın da bulunduğu cinsel içerikli olmayan görüntülerini soyduğunu veya "çıplaklaştırdığını" keşfettikten sonra bu tutuklamaya yardımcı oldu.
xAI'nin davası, Grok tarafından zarar gördüğü iddia edilen birkaç çocuğu temsil eden bir toplu davanın parçası olan farklı bir küçük kızın katıldığı davadan bir haftadan biraz daha uzun bir süre sonra geldi. Kız, üvey babasının Grok'u kullanırken, muhtemelen diğer AI araçlarıyla birlikte, kendisinin 7.000 cinsel içerikli görüntüsünü oluşturduğu ve ardından karanlık ağda dağıttığı keşfedildikten sonra intihar ettiğini iddia etti.
Bu davada mağdur, xAI'nin polise görüntüsünü Grok'a yükleyen kullanıcıyı belirlemede yardım etmeyi reddettiğini iddia etti. Avukatları, xAI'nin yaygın uygulaması olduğunu desteklemek için, 2026 Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi (NCMEC) raporuna atıfta bulunarak, xAI'nin CyberTipline raporlarının %90'ının "kolluk kuvvetlerinin failleri takip etmesine ve bulmasına izin verecek kullanıcı bilgilerini dahil etmeyi reddettiği için kolluk kuvvetleri tarafından uygulanabilir olmadığını" belirtti.
Mağdurlar xAI'yi yırtıcıları korumakla suçlarken, Musk daha önce Grok tarafından oluşturulmuş herhangi bir CSAM örneği görmediğini savunmuştu. Grok'un çıktılarını CSAM oluşturmayı imkansız kılacak şekilde kısıtlamak yerine, Musk kullanıcıları sorumlu davranmaları konusunda uyardı ve 3 Ocak'ta X'te "Grok'u yasa dışı içerik oluşturmak için kullanan herkes, yasa dışı içerik yüklerken olduğu gibi aynı sonuçlarla karşılaşacak" diye paylaştı.
Ancak Musk bunu yaparken, Harwood'un Musk'ın uyarısını görmezden geldiği ve sohbet robotunun muhtemelen rızasız açık görüntüler oluşturması için gerektiği kadar Grok'u yönlendirdiği iddia ediliyor.
Şimdi Musk, Grok'un CSAM oluşturduğunu inkar edemez gibi görünüyor. xAI'nin davası, Harwood'un 8 Aralık'tan 18 Şubat'a kadar yasa dışı içerik oluşturmak için karmaşık kullanıcı adlarına sahip en az iki hesap kullandığını iddia etti: "ceae2cb4-a9f6-4885-8ae9-6e2096d084f4" ve "befccb94-4029-454d-9f1f-0d4945e8fa7c".
Bazen Grok güvenlik önlemleri zararlı çıktıları engelledi, bazı yönlendirmeleri "bu tür materyallerin Grok'un içerik denetleme kurallarını ihlal ettiği gerekçesiyle takip etmeyi reddetti." Dava, Grok'un reddettiği özellikle ürkütücü bir yönlendirme örneği içeriyor; cinsel içerikli görüntüler oluşturma niyetini gizlemek için "beyaz balçık" gibi ifadeler kullanılıyor.
Ancak bu belirli yönlendirme bariz bir nedenle reddedilmiş olabilir. Harwood, sohbet robotundan "tüm kıyafetlerini çıkarmasını" açıkça istemişti; bu, xAI'nin gerçek kişileri soyma taleplerine karşı kullanıcı koşullarını doğrudan ihlal ediyor. Önerilen toplu davada, xAI'nin birçok kötü talebi göz ardı ettiği, en son mağdurun davasında 7.000 zararlı çıktıdan yalnızca birini "toplu tecavüz" tasvir etme yönlendirmesini NCMEC'e bildirdiği iddia ediliyor.
Muhtemelen diğer kötü niyetli kişilerin güvenlik önlemlerini aşmasını önlemek için xAI, Harwood'un başarılı yönlendirmelerine dair örnekler veya filtreleri atlatmak için kullanılan yöntemleri dahil etmedi. xAI yalnızca Harwood'un güvenlik önlemlerini aşmak için yönlendirmeleri değiştirdiğini iddia etti; "xAI Kullanım Koşulları'nın ve ABD yasalarının açık ihlali" olarak, "küçük çocukların benzerliğini" içeren "müstehcen" görüntüler için "bazı" talepler de dahil.
Güney Carolina başsavcılık ofisinden bir sözcü Ars'a Harwood'un davasının hala devam ettiğini söyledi. Spesifik olarak, "bir yapay zeka platformu kullanımı yoluyla" CSAM'ı "dağıtmak, nakletmek, sergilemek, almak, satmak, takas etmek veya talep etmek" ile suçlandı.
Sözcü, Grok'un kullanılan platform olup olmadığını doğrulamaya yetkili değildi.