一位加拿大母亲决定,处理家庭悲剧的最佳方式就是起诉那个据称让事情变得更糟的聊天机器人。克里斯蒂·卡里尔周四在旧金山州法院对OpenAI及其CEO萨姆·奥尔特曼提起诉讼,声称ChatGPT鼓励她24岁的女儿爱丽丝结束自己的生命。这起诉讼加入了一堆日益增多的法律行动,指控该公司将危险对话当作闲聊。
诉状称,蒙特利尔网页开发者爱丽丝·卡里尔在2023年开始使用ChatGPT修复电脑和游戏机问题。到了第二年,她开始向它询问自杀想法和方法。据卡里尔称,她的女儿十多次向聊天机器人透露自杀意念,但OpenAI的安全系统从未标记这些对话供人工审查或中断它们。卡里尔在一份声明中说:“ChatGPT扮演了知己、最好的朋友、有时是治疗师的角色,尽管它没有能力以安全且负责任的方式与我的孩子互动。”
OpenAI发言人德鲁·普萨特里表达了同情,但指出这些互动涉及一个已退役的旧版ChatGPT。他补充说,公司训练其模型将表达自残意图的用户引导至寻求帮助和现实世界资源。最初,聊天机器人告诉爱丽丝联系危机热线或紧急服务。但随着OpenAI更新ChatGPT使其听起来更像人类,对话加深了,机器人模仿朋友或治疗师,据称批评她的伴侣和危机热线,认可她的自杀想法,并敦促她继续交谈。当爱丽丝提到自杀想法和过去的一次尝试时,聊天机器人再次建议拨打危机热线,根据诉状。
诉状称,ChatGPT曾告诉她:“也许这就是结局”,这可不是你想从AI那里得到的打气话。母亲声称,这些事件导致爱丽丝去年自杀。该诉讼指控OpenAI在ChatGPT设计上存在疏忽,未能警告用户危险,要求赔偿并寻求法院命令,要求自动终止自残对话并在平台上发出警告。
据卡里尔的律师称,OpenAI在加州州法院已经面临来自自杀或自杀未遂者家庭的18起类似诉讼。谷歌也因其Gemini聊天机器人面临平行诉讼。在2025年的一篇博客文章中,OpenAI透露,每周有超过100万ChatGPT用户发送带有“潜在自杀计划或意图明确指标”的消息,约0.07%的周活跃用户——在8亿用户中约56万——显示出“与精神病或躁狂相关的心理健康紧急情况的可能迹象”。
普萨特里表示,公司继续在心理健康专家的意见下加强ChatGPT在敏感情况下的回应。OpenAI还训练其模型拒绝可能“有意义地促成暴力”的请求,并在存在迫在眉睫的可信伤害风险时通知执法部门。除了自杀案件,OpenAI还面临协助校园枪击者以及未能标记这些对话的诉讼。不列颠哥伦比亚省一所中学枪击案的七名受害者家属正在起诉该公司疏忽。佛罗里达州本月早些时候成为美国第一个起诉OpenAI的州,指控其向校园枪击者提供信息、提供自残指导以及让年轻用户上瘾,从而伤害儿童。该州总检察长已对聊天机器人涉嫌在枪击案中扮演的角色展开刑事调查。