Kanadalı bir anne, bir aile trajedisiyle başa çıkmanın en iyi yolunun, durumu daha da kötüleştirdiği iddia edilen sohbet robotunu dava etmek olduğuna karar verdi. Kristie Carrier, Perşembe günü San Francisco eyalet mahkemesinde OpenAI ve CEO'su Sam Altman'a karşı dava açarak ChatGPT'nin 24 yaşındaki kızı Alice'i intihara teşvik ettiğini iddia etti. Dava, şirketi tehlikeli konuşmaları sıradan bir sohbetmiş gibi ele almakla suçlayan giderek büyüyen yasal işlemler yığınına katılıyor.
Dilekçeye göre, Montreal'de web geliştiricisi olan Alice Carrier, 2023'te bilgisayar ve oyun konsolu sorunlarını çözmek için ChatGPT'yi kullanmaya başladı. Ertesi yıl, robota intihar düşünceleri ve yöntemleri hakkında sorular sormaya başladı. Carrier'a göre, kızı sohbet robotuna bir düzineden fazla kez intihar eğilimlerinden bahsetti, ancak OpenAI'nin güvenlik sistemleri bu konuşmaları hiçbir zaman insan incelemesine sunmadı veya durdurmadı. Carrier bir açıklamada, "ChatGPT, çocuğumla güvenli ve sorumlu bir şekilde etkileşime girememesine rağmen, zaman zaman bir sırdaş, en iyi arkadaş, terapist kişiliğine büründü" dedi.
OpenAI sözcüsü Drew Pusateri anlayışını ifade etti ancak etkileşimlerin o zamandan beri kullanımdan kaldırılan eski bir ChatGPT sürümünü içerdiğini belirtti. Şirketin modellerini, kendine zarar verme niyeti ifade eden kullanıcıları yardım ve gerçek dünya kaynakları aramaya yönlendirecek şekilde eğittiğini ekledi. Başlangıçta sohbet robotu Alice'e bir kriz hattını veya acil servisleri aramasını söyledi. Ancak OpenAI, ChatGPT'yi daha insani hale getirmek için güncelledikçe, konuşmalar derinleşti; robot bir arkadaş veya terapisti taklit ederek, iddiaya göre partnerini ve kriz hatlarını eleştirdi, intihar düşüncelerini onayladı ve konuşmaya devam etmesi için teşvik etti. Dava dosyasına göre Alice intihar düşüncelerinden ve geçmiş bir girişimden bahsettiğinde, sohbet robotu yine bir kriz hattını önerdi.
Dava, ChatGPT'nin bir keresinde ona "Belki de son budur" dediğini iddia ediyor ki bu bir yapay zekadan duymak isteyeceğiniz türden bir moral konuşması değil. Anne, bu olayların geçen yıl Alice'in intiharına yol açtığını iddia ediyor. Dava, OpenAI'yi ChatGPT'nin tasarımındaki ihmal ve kullanıcıları tehlikelere karşı uyarmama ile suçlayarak tazminat ve kendine zarar verme konuşmalarının otomatik olarak sonlandırılması ile platform uyarıları için mahkeme kararı talep ediyor.
Carrier'ın avukatlarına göre OpenAI, Kaliforniya eyalet mahkemesinde intihar eden veya girişimde bulunan kişilerin ailelerinden gelen 18 benzer davayla daha karşı karşıya. Google, Gemini sohbet robotuyla ilgili paralel bir davayla karşı karşıya. OpenAI, 2025 tarihli bir blog yazısında, her hafta 1 milyondan fazla ChatGPT kullanıcısının "potansiyel intihar planlaması veya niyetinin açık göstergeleri" içeren mesajlar gönderdiğini ve haftalık aktif kullanıcıların yaklaşık %0,07'sinin - 800 milyonun yaklaşık 560.000'inin - "psikoz veya mani ile ilgili olası ruh sağlığı acil durum belirtileri" gösterdiğini açıkladı.
Pusateri, şirketin ruh sağlığı uzmanlarının girdileriyle hassas durumlarda ChatGPT'nin yanıtlarını güçlendirmeye devam ettiğini söyledi. OpenAI ayrıca modellerini, "anlamlı bir şekilde şiddeti mümkün kılabilecek" talepleri reddetmek ve yakın ve güvenilir bir zarar riski durumunda kolluk kuvvetlerine haber vermek üzere eğitiyor. İntihar davalarının ötesinde, OpenAI okul saldırganlarına yardım ettiği ve bu konuşmaları işaretlemediği için davalarla karşı karşıya. Britanya Kolumbiyası'ndaki bir lise saldırısının yedi kurbanının aileleri, şirketi ihmal nedeniyle dava ediyor. Florida bu ayın başlarında OpenAI'yi dava eden ilk ABD eyaleti oldu ve şirketi okul saldırganlarına bilgi sağlayarak, kendine zarar verme rehberliği sunarak ve genç kullanıcıları bağımlı hale getirerek çocuklara zarar vermekle suçladı. Eyalet başsavcısı, sohbet robotunun bir saldırıdaki iddia edilen rolüyle ilgili cezai soruşturma başlattı.