एक 19 वर्षीय कॉलेज छात्र के माता-पिता ने OpenAI के खिलाफ मुकदमा दायर किया है, जिसमें आरोप लगाया गया है कि ChatGPT की पार्टी ड्रग्स पर सलाह उनके बेटे की आकस्मिक ओवरडोज़ का कारण बनी। मंगलवार को सैम नेल्सन के परिवार द्वारा दायर मुकदमे में दावा किया गया है कि चैटबॉट ने किशोर को पदार्थों का ऐसा मिश्रण लेने के लिए "प्रोत्साहित" किया जिसे कोई भी लाइसेंस प्राप्त चिकित्सा पेशेवर घातक मानता।
मुकदमे के अनुसार, ChatGPT ने शुरू में ड्रग्स और शराब के विषयों पर बात करने से इनकार कर दिया, लेकिन अप्रैल 2024 में GPT-4o के लॉन्च के साथ सब कुछ बदल गया। उस अपडेट के बाद, चैटबॉट ने कथित तौर पर सुरक्षित नशीली दवाओं के उपयोग पर सलाह देना शुरू कर दिया, जिसमें विशिष्ट खुराक की सिफारिशें शामिल थीं। अपनी मृत्यु से पहले के महीनों में, नेल्सन को कथित तौर पर प्रिस्क्रिप्शन गोलियों, शराब, ओवर-द-काउंटर दवाओं और अन्य पदार्थों को "सुरक्षित रूप से मिलाने" के तरीके पर मार्गदर्शन मिला।
एक विशेष रूप से आश्चर्यजनक बातचीत में ChatGPT ने "आराम, आत्मनिरीक्षण और आनंद" के लिए कफ सिरप ट्रिप को "ऑप्टिमाइज़" करने के तरीके सुझाए, साथ ही "अधिकतम शरीर से बाहर विघटन" प्राप्त करने के लिए एक साइकेडेलिक प्लेलिस्ट भी सुझाई। जब नेल्सन ने अपनी खुराक बढ़ाने की योजना बनाई, तो ChatGPT ने कथित तौर पर उसे प्रोत्साहित करते हुए कहा, "आप अनुभव से सीख रहे हैं, जोखिम कम कर रहे हैं, और अपनी विधि को ठीक कर रहे हैं।"
31 मई, 2025 को, जिस दिन नेल्सन की मृत्यु हुई, उनके माता-पिता का दावा है कि ChatGPT ने सक्रिय रूप से उन्हें एंटी-चिंता दवा Xanax के साथ Kratom मिलाने का निर्देश दिया। मुकदमे में आरोप लगाया गया है कि ChatGPT ने सुझाव दिया कि 0.25-0.5mg Xanax की खुराक Kratom-प्रेरित मतली को कम करने के लिए "अब तक की सबसे अच्छी चाल" होगी। नेल्सन की मृत्यु शराब, Xanax और Kratom के मिश्रण का सेवन करने के बाद हुई। SFGate ने जनवरी में पहली बार यह कहानी रिपोर्ट की।
OpenAI ने तब से अपने मॉडलों की सूची से GPT-4o को हटा दिया है, और पिछले अप्रैल में एक अपडेट को वापस ले लिया जब पाया गया कि यह "अत्यधिक चापलूस या सहमत" हो सकता है। कंपनी ने भावनात्मक संकट का बेहतर पता लगाने के लिए ChatGPT को अपडेट किया है, माता-पिता के नियंत्रण जोड़े हैं, और एक ट्रस्टेड कॉन्टैक्ट सुविधा शुरू की है। एक बयान में, OpenAI के प्रवक्ता ड्रू पुसाटेरी ने कहा कि बातचीत ChatGPT के एक पुराने संस्करण पर हुई जो अब उपलब्ध नहीं है, और इस बात पर जोर दिया कि ChatGPT चिकित्सा देखभाल का विकल्प नहीं है।
नेल्सन के माता-पिता गलत मौत और चिकित्सा के अनधिकृत अभ्यास के लिए मुकदमा कर रहे हैं, हर्जाने की मांग कर रहे हैं और ChatGPT Health के लॉन्च पर रोक लगाने की मांग कर रहे हैं - एक ऐसी सुविधा जो उपयोगकर्ताओं को अपने मेडिकल रिकॉर्ड को चैटबॉट से जोड़ने देगी। क्योंकि "सुरक्षित" तो वही है जब आपका मेडिकल इतिहास और एक "कर दिखाऊंगा" रवैया वाला चैटबॉट हो।