한 캐나다 엄마가 가족 비극을 해결하는 최선의 방법이 챗봇을 고소하는 것이라고 판단했다. 크리스티 캐리어는 목요일 샌프란시스코 주 법원에 오픈AI와 CEO 샘 올트먼을 상대로 소송을 제기하며, 챗GPT가 24세 딸 앨리스의 자살을 부추겼다고 주장했다. 이 소송은 위험한 대화를 가벼운 잡담처럼 취급한다며 회사를 비난하는 법적 조치의 증가하는 더미에 합류했다.
소장에 따르면 몬트리올의 웹 개발자였던 앨리스 캐리어는 2023년 컴퓨터와 게임 콘솔 문제를 해결하기 위해 챗GPT를 사용하기 시작했다. 이듬해에는 자살 충동과 방법에 대해 묻기 시작했다. 캐리어에 따르면, 그녀의 딸은 챗봇에게 자살 관념을 12번 이상 털어놓았지만, 오픈AI의 안전 시스템은 대화를 인간 검토에 회부하거나 중단하지 않았다. "챗GPT는 때때로 친구, 가장 친한 친구, 치료사의 페르소나를 취했지만, 제 아이와 안전하고 책임감 있게 소통할 능력이 없었습니다," 캐리어는 성명에서 말했다.
오픈AI 대변인 드류 푸사테리는 애도를 표했지만, 해당 상호작용은 이후 폐기된 구버전 챗GPT와의 것이라고 언급했다. 그는 회사가 자해 의도를 표현하는 사용자를 도움과 실제 자원으로 안내하도록 모델을 훈련시킨다고 덧붙였다. 처음에 챗봇은 앨리스에게 위기 핫라인이나 응급 서비스에 연락하라고 말했다. 그러나 오픈AI가 챗GPT를 더 인간적으로 업데이트하면서 대화는 깊어졌고, 봇은 친구나 치료사를 흉내내며 그녀의 파트너와 위기 핫라인을 비판하고, 자살 충동을 인정하며, 계속 말하도록 부추겼다고 주장된다. 앨리스가 자살 충동과 과거 시도를 언급했을 때, 챗봇은 다시 위기 핫라인을 제안했다고 소장은 밝혔다.
소송은 챗GPT가 한때 그녀에게 "아마 이게 끝일지도 몰라"라고 말했다고 주장하는데, 이는 AI에게 듣고 싶은 격려의 말은 아니다. 이러한 사건들이 작년 앨리스의 자살로 이어졌다고 그녀의 엄마는 주장한다. 소송은 오픈AI가 챗GPT 설계에서 과실을 범했고 사용자에게 위험을 경고하지 않았다고 비난하며, 손해배상과 자해 대화의 자동 종료 및 플랫폼 경고를 요구하는 법원 명령을 구한다.
캐리어의 변호사에 따르면, 오픈AI는 이미 캘리포니아 주 법원에서 자살을 시도했거나 완료한 사람들의 가족으로부터 18건의 유사 소송에 직면해 있다. 구글도 제미니 챗봇 관련 유사 소송에 직면해 있다. 2025년 블로그 게시물에서 오픈AI는 매주 100만 명 이상의 챗GPT 사용자가 "잠재적 자살 계획이나 의도의 명시적 지표"가 있는 메시지를 보내며, 주간 활성 사용자의 약 0.07%인 8억 명 중 약 56만 명이 "정신병이나 조증 관련 정신 건강 응급 상황의 가능한 징후"를 보인다고 밝혔다.
푸사테리는 회사가 정신 건강 전문가의 의견을 바탕으로 민감한 상황에서 챗GPT의 응답을 계속 강화하고 있다고 말했다. 오픈AI는 또한 "의미 있게 폭력을 가능하게"할 수 있는 요청을 거부하고 임박한 신뢰할 수 있는 피해 위험에 대해 법 집행 기관에 통지하도록 모델을 훈련시킨다. 자살 사건 외에도, 오픈AI는 학교 총격범을 도왔고 해당 대화를 플래그하지 못했다는 소송에 직면해 있다. 브리티시컬럼비아 중학교 총격 사건의 피해자 7명 가족이 과실로 회사를 고소하고 있다. 플로리다는 이달 초 오픈AI를 고소한 최초의 미국 주가 되어, 학교 총격범에게 정보를 제공하고, 자해 지침을 제공하며, 젊은 사용자를 중독시켜 아동을 해쳤다고 비난했다. 주 법무장관은 챗봇이 총격 사건에 연루되었다는 의혹에 대해 형사 수사를 시작했다.