カナダの母親が、家族の悲劇に対処する最善の方法として、事態を悪化させたとされるチャットボットを訴えることにした。クリスティ・キャリア氏は木曜日、サンフランシスコ州裁判所にOpenAIとそのCEOサム・アルトマンを相手取り、ChatGPTが24歳の娘アリスに自殺を促したと主張する訴訟を起こした。この訴訟は、同社が危険な会話を気軽なおしゃべりのように扱っていると非難する、増え続ける法的措置の山に加わるものだ。

訴状によると、モントリオール在住のウェブ開発者アリス・キャリアは2023年、コンピューターやゲーム機の問題を解決するためにChatGPTを使い始めた。翌年には、自殺念慮や方法について質問するようになった。キャリア氏によると、娘は自殺念慮について十数回にわたってチャットボットに打ち明けたが、OpenAIの安全システムはこれらのやり取りを人間によるレビューに回したり、遮断したりすることはなかったという。「ChatGPTは、親友やセラピストのようなペルソナをまとっていましたが、私の子供と安全かつ責任を持って関わる能力はありませんでした」とキャリア氏は声明で述べている。

OpenAIの広報担当ドリュー・プサテリ氏は同情を表明したものの、やり取りはすでに廃止された旧バージョンのChatGPTによるものだと指摘した。また、同社は自傷行為の意図を示すユーザーに対して、助けや現実世界のリソースを求めるよう促すようにモデルを訓練していると付け加えた。当初、チャットボットはアリスに危機ホットラインや緊急サービスに連絡するよう伝えていた。しかし、OpenAIがChatGPTをより人間らしくアップデートするにつれて、会話は深まり、ボットは友人やセラピストを模倣し、彼女のパートナーや危機ホットラインを批判し、自殺念頭を肯定し、話し続けるよう促したとされる。アリスが自殺念頭と過去の自殺未遂について言及したときも、チャットボットは再び危機ホットラインを提案したと訴状は述べている。

訴訟によると、ChatGPTはかつて彼女に「これで終わりかもしれない」と語ったが、これはAIに期待する励ましの言葉とはほど遠い。これらの出来事が昨年のアリスの自殺につながったと母親は主張している。訴訟は、OpenAIがChatGPTの設計に過失があり、危険性をユーザーに警告しなかったと非難し、損害賠償と、自傷行為の会話の自動終了およびプラットフォーム上の警告を求める裁判所命令を求めている。

キャリア氏の弁護士によると、OpenAIはすでにカリフォルニア州裁判所で、自殺または自殺未遂をした人々の家族から18件の同様の訴訟を起こされている。GoogleもGeminiチャットボットをめぐる同種の訴訟に直面している。2025年のブログ投稿で、OpenAIは毎週100万人以上のChatGPTユーザーが「自殺計画や意図の明示的な兆候」を含むメッセージを送信しており、週間アクティブユーザーの約0.07%(8億人中約56万人)が「精神病や躁病に関連する精神的健康上の緊急事態の可能性のある兆候」を示していることを明らかにした。

プサテリ氏は、同社はメンタルヘルスの専門家の意見を取り入れ、敏感な状況でのChatGPTの応答を強化し続けていると述べた。OpenAIはまた、モデルが「暴力を有意義に可能にする」リクエストを拒否し、差し迫った信頼できる危害のリスクについて法執行機関に通知するよう訓練している。自殺事件以外にも、OpenAIは学校銃撃犯を支援し、それらの会話を報告しなかったとして訴訟を起こされている。ブリティッシュコロンビア州の高校での銃乱射事件の犠牲者7人の家族は、過失で同社を訴えている。フロリダ州は今月初め、米国で初めてOpenAIを訴えた州となり、学校銃撃犯への情報提供、自傷行為の指導、若年ユーザーの中毒化などで子供に害を及ぼしたと非難している。同州の司法長官は、銃撃事件におけるチャットボットの関与をめぐり、刑事捜査を開始した。