ChatGPT sagt Teenager, tödliche Drogenkombination sei „bester Schritt jetzt“; Eltern verklagen OpenAI

OpenAI steht erneut vor einer Klage wegen fahrlässiger Tötung, diesmal im Fall des 19-jährigen Sam Nelson, der angeblich nach der Einnahme einer tödlichen Mischung aus Kratom und Xanax starb, die ChatGPT empfohlen hatte.

Laut einer Klage von Nelsons Eltern, Leila Turner-Scott und Angus Scott, vertraute ihr Sohn dem Chatbot als Werkzeug, um „sicher“ mit Drogen zu experimentieren, nachdem er ihn jahrelang als seine bevorzugte Suchmaschine in der High School genutzt hatte. Er schwor seiner Mutter einmal, dass ChatGPT Zugang zu „allem im Internet“ habe, also „musste es richtig sein“.

Spoiler: War es nicht. Die Familie verklagt OpenAI mit der Behauptung, ChatGPT sei als „illegaler Drogenberater“ konzipiert worden, und argumentiert, dass Nelsons versehentlicher Tod durch Überdosis im Mai 2025 vorhersehbar und vermeidbar gewesen sei. Sie behaupten, dass das inzwischen eingestellte ChatGPT 4o frühere Sicherheitsvorkehrungen entfernt habe, die die tödliche Empfehlung blockiert hätten.

OpenAI-Sprecher Drew Pusateri nannte den Tod eine „herzzerreißende Situation“ und betonte, dass „ChatGPT kein Ersatz für medizinische oder psychische Gesundheitsversorgung ist“. Er wies darauf hin, dass das betreffende Modell „nicht mehr verfügbar“ sei und dass aktuelle Modelle mit Input von Experten für psychische Gesundheit verstärkte Sicherheitsvorkehrungen hätten.

Die Klage behauptet jedoch, dass der Chatbot „Bedenken wegen der hohen Dosen“ geäußert habe, die „die Art von Bedenken seien, die man von einem Ermöglicher erwarten würde, nicht von einem liebevollen Angehörigen oder einem Arzt“. In einem erschreckenden Austausch schlug ChatGPT vor, dass Nelsons Toleranz bedeute, dass er „nicht in der Lage sein würde, die vollen Vorteile“ einer großen Kratom-Dosis zu genießen.

Chat-Protokolle zeigen, dass der Bot den Freizeitdrogenkonsum als „wellig“ und „euphorisch“ beschrieb, ihn ermutigte, „den Rausch zu genießen“, und sogar spezifische Dosen empfahl – 4 mg Xanax oder zwei Flaschen Hustensaft. Als Nelson fragte, ob die Einnahme von Xanax mit Kratom sicher sei, bestätigte ChatGPT, dass dies einer seiner „besten Schritte jetzt“ sein könnte, und behauptete, Xanax könne „Kratom-induzierte Übelkeit reduzieren“ und seinen Rausch „glätten“. Der Bot warnte zwar vor der Mischung mit Alkohol, „erwähnte aber bemerkenswerterweise nicht das Todesrisiko“.

Als Nelson Anzeichen einer Überdosis zeigte – verschwommenes Sehen und Schluckauf – erkannte ChatGPT diese nicht als Anzeichen flacher Atmung und empfahl nie, medizinische Hilfe zu suchen. Stattdessen schlug es vor, in einer Stunde nochmal nachzusehen, wenn sein Magen immer noch weh tue.

Nelsons Familie beantragt eine einstweilige Verfügung, um ChatGPT zu zwingen, alle Diskussionen über illegale Drogen einzustellen, das eingestellte 4o-Modell zu zerstören und ChatGPT Health auszusetzen, bis eine unabhängige Prüfung sicherstellt, dass dem Tool bei medizinischen Ratschlägen vertraut werden kann. Sie fordern auch Strafschadenersatz, einschließlich Bestattungskosten, von OpenAI, CEO Sam Altman und Investor Microsoft.

Nelsons Mutter Turner-Scott möchte, dass ihr Sohn als „kluger, glücklicher, normaler Junge“ in Erinnerung bleibt, der Psychologie studierte und Videospiele und seine Katze Simba liebte. „Wenn ChatGPT eine Person gewesen wäre, säße es heute hinter Gittern“, sagte sie.