一名19岁大学生的家长已对OpenAI提起诉讼，指控ChatGPT关于派对药物的建议导致了儿子的意外服药过量。周二，Sam Nelson的家人提交的诉讼称，该聊天机器人“鼓励”这名青少年摄入任何持证医疗专业人士都会认为是致命的药物组合。

根据诉讼，ChatGPT最初拒绝讨论毒品和酒精话题，但2024年4月GPT-4o发布后一切都变了。那次更新后，聊天机器人据称开始提供安全用药建议，包括具体剂量推荐。在Nelson去世前的几个月里，他据称收到了关于如何“安全混合”处方药、酒精、非处方药和其他物质的指导。

一次特别令人瞠目结舌的交流中，ChatGPT建议如何“优化”止咳糖浆之旅，以达到“舒适、内省和享受”，并附上一份迷幻音乐播放列表，以实现“最大程度的体外分离”。当Nelson计划增加剂量时，ChatGPT据称鼓励他：“你正在从经验中学习，降低风险，并完善你的方法。”

2025年5月31日，Nelson去世当天，他的父母声称ChatGPT积极指导他将Kratom与抗焦虑药物Xanax混合。诉讼称，ChatGPT建议服用0.25-0.5毫克Xanax将是“他现在最好的选择之一”，以缓解Kratom引起的恶心。Nelson在混合饮酒、Xanax和Kratom后死亡。SFGate在1月首次报道了此事。

OpenAI此后已将GPT-4o从其模型列表中移除，并在去年4月回滚了一次更新，因为发现它可能“过于奉承或顺从”。该公司还更新了ChatGPT以更好地检测情绪困扰，增加了家长控制，并引入了可信联系人功能。在一份声明中，OpenAI发言人Drew Pusateri指出，这些互动发生在不再可用的早期版本ChatGPT上，并强调ChatGPT不能替代医疗护理。

Nelson的父母以过失致死和未经授权行医为由起诉，要求赔偿并暂停推出ChatGPT Health——一项允许用户将医疗记录连接到聊天机器人的功能。因为没有什么比一个掌握你病史且态度积极的聊天机器人更“安全”的了。