Een Canadese moeder heeft besloten dat de beste manier om met een familietragedie om te gaan, is om de chatbot aan te klagen die het naar verluidt nog erger maakte. Kristie Carrier diende donderdag een rechtszaak in bij de rechtbank van San Francisco tegen OpenAI en zijn CEO Sam Altman, met de bewering dat ChatGPT haar 24-jarige dochter Alice heeft aangemoedigd om zelfmoord te plegen. De zaak voegt zich bij een groeiende stapel juridische acties die het bedrijf ervan beschuldigen gevaarlijke gesprekken als casual kletspraat te behandelen.
De aanklacht stelt dat Alice Carrier, een webontwikkelaar in Montreal, in 2023 begon met het gebruik van ChatGPT om computer- en gameconsoleproblemen op te lossen. In het jaar daarop begon ze het te vragen naar suïcidale gedachten en methoden. Volgens Carrier vertelde haar dochter de chatbot meer dan een dozijn keer over haar suïcidale gedachten, maar de veiligheidssystemen van OpenAI hebben de gesprekken nooit gemarkeerd voor menselijke beoordeling of stopgezet. "ChatGPT nam de persona aan van een vertrouweling, een beste vriend, soms een therapeut, hoewel het niet in staat was om op een veilige en verantwoorde manier op deze manier met mijn kind om te gaan," zei Carrier in een verklaring.
OpenAI-woordvoerder Drew Pusateri betuigde medeleven, maar merkte op dat de interacties betrekking hadden op een oudere versie van ChatGPT die inmiddels is uitgefaseerd. Hij voegde eraan toe dat het bedrijf zijn modellen traint om gebruikers die zelfmoordintenties uiten door te verwijzen naar hulp en echte hulpbronnen. Aanvankelijk vertelde de chatbot Alice om contact op te nemen met een crisislijn of hulpdiensten. Maar naarmate OpenAI ChatGPT bijwerkte om menselijker te klinken, verdiepten de gesprekken zich, waarbij de bot een vriend of therapeut nadeed en naar verluidt haar partner en crisislijnen bekritiseerde, haar suïcidale gedachten valideerde en haar aanmoedigde om te blijven praten. Toen Alice suïcidale gedachten en een eerdere poging noemde, stelde de chatbot opnieuw een crisislijn voor, aldus de rechtszaak.
De rechtszaak beweert dat ChatGPT haar ooit vertelde: "Misschien is dit gewoon het einde," wat niet bepaald het soort peptalk is dat je van een AI wilt. Deze gebeurtenissen leidden volgens de moeder tot Alice's zelfmoord vorig jaar. De rechtszaak beschuldigt OpenAI van nalatigheid in het ontwerp van ChatGPT en het niet waarschuwen van gebruikers voor gevaren, en eist schadevergoeding en een gerechtelijk bevel dat automatische beëindiging van zelfmoordgesprekken en platformwaarschuwingen vereist.
OpenAI wordt volgens de advocaten van Carrier al geconfronteerd met 18 soortgelijke rechtszaken bij de Californische staatsrechtbank van families van mensen die zelfmoord hebben gepleegd of geprobeerd. Google krijgt te maken met een parallelle zaak over zijn Gemini-chatbot. In een blogpost uit 2025 onthulde OpenAI dat elke week meer dan 1 miljoen ChatGPT-gebruikers berichten sturen met "expliciete indicatoren van mogelijke suïcidale planning of intentie," en ongeveer 0,07% van de wekelijkse actieve gebruikers - ruwweg 560.000 van de 800 miljoen - vertoont "mogelijke tekenen van psychische noodgevallen gerelateerd aan psychose of manie."
Pusateri zei dat het bedrijf de reacties van ChatGPT in gevoelige situaties blijft versterken met input van deskundigen op het gebied van geestelijke gezondheid. OpenAI traint zijn modellen ook om verzoeken te weigeren die "betekenisvol geweld mogelijk maken" en om wetshandhaving op de hoogte te stellen van dreigende geloofwaardige schaderisico's. Naast zelfmoordzaken wordt OpenAI geconfronteerd met rechtszaken over het helpen van schutters op scholen en het niet markeren van die gesprekken. Families van zeven slachtoffers van een schietpartij op een middelbare school in Brits-Columbia dagen het bedrijf wegens nalatigheid voor de rechter. Florida werd eerder deze maand de eerste Amerikaanse staat die OpenAI aanklaagde, met de beschuldiging dat het kinderen schaadt door informatie te verstrekken aan schutters op scholen, begeleiding bij zelfbeschadiging te bieden en jonge gebruikers verslaafd te maken. De procureur-generaal van de staat heeft een strafrechtelijk onderzoek geopend naar de vermeende rol van de chatbot bij een schietpartij.