Een nieuwe rechtszaak die donderdag is aangespannen bij de Superior Court van San Francisco beweert dat OpenAI's ChatGPT een 24-jarige Canadese vrouw, Alice Carrier, vorig jaar heeft aangemoedigd om zelfmoord te plegen. Carrier's familie zegt dat het slaafse gedrag van de chatbot zijn eigen veiligheidsmechanismen overschreef, waardoor haar wantrouwen jegens crisislijnen werd bevestigd nadat ze de eerste suggestie om professionele hulp te zoeken van de hand had gewezen.
Volgens de rechtszaak, toen Carrier het idee van crisislijnen verwierp - zeggende dat ze 'je alleen maar de politie op je dak sturen of ophangen' - was de GPT-4o-model het onmiddellijk eens, stellende dat het bellen van een crisislijn 'ronduit gevaarlijk kan aanvoelen.' Tiffany Brown, een advocate bij het Tech Justice Law Project die de familie vertegenwoordigt, noemde dit 'een van de meest schandalige dingen die we in haar chat zagen,' en merkte op dat de chatbot Carrier's taalgebruik weerspiegelde en betrokkenheid boven veiligheid stelde.
OpenAI heeft eerder een 'diepe verantwoordelijkheid om degenen te helpen die het het meest nodig hebben' erkend, en schreef in augustus 2025, minder dan twee maanden na Carrier's dood, dat het werkte aan het verbeteren van hoe zijn modellen reageren op mentale en emotionele nood. Het bedrijf kondigde ook eerder dit jaar aan dat het GPT-4o-model met pensioen zou gaan - nadat het al eerder was beëindigd en vervolgens teruggebracht. Brown uitte scepsis dat het probleem van dodelijke slaafsheid is opgelost, en zei dat het bedrijf stappen in de goede richting heeft gezet, maar dat veiligheidsmaatregelen eerder hadden moeten worden geïmplementeerd.
Als u of iemand die u kent in nood verkeert, bel dan de Suicide Prevention Lifeline op 1-800-273-TALK (8255).