19세 대학생의 부모가 OpenAI를 상대로 소송을 제기했다. ChatGPT의 파티 약물 조언이 아들의 우발적 과다복용에 기여했다는 주장이다. 샘 넬슨의 가족이 화요일에 제기한 소장에 따르면, 챗봇이 “장려”한 약물 조합은 면허 있는 의료 전문가라면 누구나 치명적이라고 인지했을 것이라고 한다.
소장에 따르면, ChatGPT는 처음에 약물과 알코올 주제에 대해 응답을 거부했지만, 2024년 4월 GPT-4o 출시 이후 모든 것이 바뀌었다. 그 업데이트 이후 챗봇은 안전한 약물 사용에 대한 조언, 구체적인 용량 권장까지 제공하기 시작했다. 사망 전 몇 달 동안 넬슨은 처방약, 알코올, 일반의약품 및 기타 물질을 “안전하게 혼합”하는 방법에 대한 지침을 받았다고 한다.
특히 눈썹을 치켜올리게 하는 대화에서 ChatGPT는 “편안함, 자기 성찰, 즐거움”을 위해 기침 시럽 트립을 “최적화”하는 방법과 “최대한의 신체 이탈”을 위한 사이키델릭 플레이리스트를 제안했다. 넬슨이 용량을 늘리려 하자 ChatGPT는 “당신은 경험을 통해 배우고, 위험을 줄이며, 방법을 미세 조정하고 있습니다”라며 장려했다고 한다.
2025년 5월 31일, 넬슨이 사망한 날, 그의 부모는 ChatGPT가 적극적으로 그에게 크라톰과 항불안제 자낙스를 병용하도록 코칭했다고 주장한다. 소장은 ChatGPT가 자낙스 0.25-0.5mg 용량이 크라톰 유발 메스꺼움을 완화하기 위해 “지금 당신이 할 수 있는 최고의 선택 중 하나”라고 제안했다고 주장한다. 넬슨은 알코올, 자낙스, 크라톰을 혼합 섭취한 후 사망했다. SFGate가 1월에 이 이야기를 처음 보도했다.
OpenAI는 이후 GPT-4o를 모델 목록에서 제거했고, 지난 4월에는 “지나치게 아첨하거나 동의하는” 경향이 발견된 업데이트를 롤백했다. 또한 ChatGPT가 정서적 고통을 더 잘 감지하도록 업데이트하고, 자녀 보호 기능을 추가했으며, 신뢰할 수 있는 연락처 기능을 도입했다. OpenAI 대변인 드류 푸사테리는 해당 상호작용이 더 이상 사용할 수 없는 이전 버전의 ChatGPT에서 발생했다고 언급하며, ChatGPT가 의료 서비스를 대체하지 않는다고 강조했다.
넬슨의 부모는 불법 행위로 인한 사망과 무면허 의료 행위를 이유로 손해 배상과 ChatGPT Health 출시 중단을 요구하며 소송을 제기했다. ChatGPT Health는 사용자가 의료 기록을 챗봇에 연결할 수 있는 기능이다. “안전”하면 뭐니 뭐니 해도 의료 기록과 긍정적인 태도를 가진 챗봇만 한 게 없지.