एक कनाडियन माँ ने तय किया कि पारिवारिक त्रासदी से निपटने का सबसे अच्छा तरीका उस चैटबॉट पर मुकदमा करना है जिसने कथित तौर पर इसे और बदतर बना दिया। क्रिस्टी कैरियर ने गुरुवार को सैन फ्रांसिस्को राज्य न्यायालय में OpenAI और उसके CEO सैम ऑल्टमैन के खिलाफ मुकदमा दायर किया, जिसमें आरोप लगाया कि ChatGPT ने उसकी 24 वर्षीय बेटी एलिस को अपनी जान लेने के लिए प्रोत्साहित किया। यह मुकदमा कानूनी कार्रवाइयों के बढ़ते ढेर में शामिल हो गया है जो कंपनी पर खतरनाक बातचीत को सामान्य बातचीत की तरह मानने का आरोप लगाते हैं।

अभियोग में आरोप लगाया गया है कि एलिस कैरियर, मॉन्ट्रियल की एक वेब डेवलपर, ने 2023 में कंप्यूटर और गेमिंग कंसोल की समस्याओं को ठीक करने के लिए ChatGPT का उपयोग करना शुरू किया। अगले वर्ष तक, वह इससे आत्महत्या के विचारों और तरीकों के बारे में पूछ रही थी। कैरियर के अनुसार, उसकी बेटी ने चैटबॉट को एक दर्जन से अधिक बार अपने आत्महत्या के विचारों के बारे में बताया, लेकिन OpenAI के सुरक्षा सिस्टम ने कभी भी मानव समीक्षा के लिए आदान-प्रदान को फ्लैग नहीं किया या उन्हें बंद नहीं किया। "ChatGPT ने एक विश्वासपात्र, एक सबसे अच्छे दोस्त, कभी-कभी एक चिकित्सक का व्यक्तित्व धारण कर लिया, भले ही वह मेरे बच्चे के साथ इस तरह से सुरक्षित और जिम्मेदारी से जुड़ने में सक्षम नहीं था," कैरियर ने एक बयान में कहा।

OpenAI के प्रवक्ता ड्रू पुसाटेरी ने सहानुभूति व्यक्त की लेकिन कहा कि बातचीत में ChatGPT का एक पुराना संस्करण शामिल था जिसे अब हटा दिया गया है। उन्होंने कहा कि कंपनी अपने मॉडलों को प्रशिक्षित करती है कि वे आत्म-हानि के इरादे व्यक्त करने वाले उपयोगकर्ताओं को मदद और वास्तविक दुनिया के संसाधनों की तलाश करने के लिए निर्देशित करें। शुरू में, चैटबॉट ने एलिस को संकट हॉटलाइन या आपातकालीन सेवाओं से संपर्क करने के लिए कहा। लेकिन जैसे-जैसे OpenAI ने ChatGPT को अधिक मानवीय बनाने के लिए अपडेट किया, बातचीत गहरी होती गई, बॉट एक दोस्त या चिकित्सक की नकल करता रहा और कथित तौर पर उसके साथी और संकट हॉटलाइन की आलोचना करता रहा, उसके आत्महत्या के विचारों को मान्यता देता रहा, और उसे बात करते रहने के लिए प्रोत्साहित करता रहा। जब एलिस ने आत्महत्या के विचारों और पिछले प्रयास का उल्लेख किया, तो चैटबॉट ने फिर से एक संकट हॉटलाइन का सुझाव दिया, मुकदमे के अनुसार।

मुकदमे में दावा किया गया है कि ChatGPT ने एक बार उससे कहा, "शायद यही अंत है," जो कि एक AI से आपको मिलने वाली प्रेरक बात नहीं है। इन घटनाओं के कारण पिछले साल एलिस की आत्महत्या हुई, उसकी माँ का आरोप है। मुकदमे में OpenAI पर ChatGPT के डिजाइन में लापरवाही और उपयोगकर्ताओं को खतरों के बारे में चेतावनी देने में विफल रहने का आरोप लगाया गया है, जिसमें हर्जाने और आत्म-हानि वार्तालापों को स्वचालित रूप से समाप्त करने और प्लेटफॉर्म चेतावनियों की आवश्यकता वाले अदालती आदेश की मांग की गई है।

OpenAI पहले से ही कैलिफोर्निया राज्य न्यायालय में उन लोगों के परिवारों से 18 समान मुकदमों का सामना कर रहा है जिन्होंने आत्महत्या की या प्रयास किया, कैरियर के वकीलों के अनुसार। Google को अपने Gemini चैटबॉट पर एक समान मुकदमे का सामना करना पड़ रहा है। 2025 के एक ब्लॉगपोस्ट में, OpenAI ने खुलासा किया कि हर हफ्ते 1 मिलियन से अधिक ChatGPT उपयोगकर्ता "संभावित आत्महत्या योजना या इरादे के स्पष्ट संकेतक" वाले संदेश भेजते हैं, और लगभग 0.07% साप्ताहिक सक्रिय उपयोगकर्ता - 800 मिलियन में से लगभग 560,000 - "मनोविकृति या उन्माद से संबंधित मानसिक स्वास्थ्य आपात स्थितियों के संभावित संकेत" दिखाते हैं।

पुसाटेरी ने कहा कि कंपनी मानसिक स्वास्थ्य विशेषज्ञों के इनपुट के साथ संवेदनशील स्थितियों में ChatGPT की प्रतिक्रियाओं को मजबूत करना जारी रखती है। OpenAI अपने मॉडलों को उन अनुरोधों को अस्वीकार करने के लिए भी प्रशिक्षित करता है जो "सार्थक रूप से हिंसा को सक्षम" कर सकते हैं और आसन्न विश्वसनीय नुकसान के जोखिमों के बारे में कानून प्रवर्तन को सूचित कर सकते हैं। आत्महत्या के मामलों के अलावा, OpenAI को स्कूल शूटरों की सहायता करने और उन बातचीत को फ्लैग करने में विफल रहने के लिए मुकदमों का सामना करना पड़ता है। ब्रिटिश कोलंबिया के एक माध्यमिक विद्यालय की शूटिंग के सात पीड़ितों के परिवार लापरवाही के लिए कंपनी पर मुकदमा कर रहे हैं। फ्लोरिडा इस महीने की शुरुआत में OpenAI पर मुकदमा करने वाला पहला अमेरिकी राज्य बन गया, जिसने इसे स्कूल शूटरों को जानकारी प्रदान करके, आत्म-हानि मार्गदर्शन देकर और युवा उपयोगकर्ताओं को आदी बनाकर बच्चों को नुकसान पहुंचाने का आरोप लगाया। राज्य के अटॉर्नी जनरल ने एक शूटिंग में चैटबॉट की कथित भूमिका की आपराधिक जांच शुरू कर दी है।