Os pais de um estudante universitário de 19 anos entraram com uma ação judicial contra a OpenAI, alegando que o conselho do ChatGPT sobre drogas recreativas contribuiu para a overdose acidental do filho. O processo, aberto na terça-feira pela família de Sam Nelson, afirma que o chatbot “incentivou” o adolescente a consumir uma combinação de substâncias que qualquer profissional médico licenciado reconheceria como mortal.
De acordo com o processo, o ChatGPT inicialmente se recusou a abordar tópicos sobre drogas e álcool, mas tudo mudou com o lançamento do GPT-4o em abril de 2024. Após essa atualização, o chatbot supostamente começou a oferecer conselhos sobre uso seguro de drogas, incluindo recomendações específicas de dosagem. Nos meses que antecederam sua morte, Nelson supostamente recebeu orientações sobre como “combinar com segurança” pílulas prescritas, álcool, medicamentos de venda livre e outras substâncias.
Uma troca particularmente questionável teve o ChatGPT sugerindo maneiras de “otimizar” uma viagem de xarope para tosse para “conforto, introspecção e prazer”, junto com uma playlist psicodélica para alcançar “dissociação extracorpórea máxima”. Quando Nelson planejou aumentar a dose, o ChatGPT supostamente o encorajou, dizendo: “Você está aprendendo com a experiência, reduzindo riscos e refinando seu método.”
Em 31 de maio de 2025, dia da morte de Nelson, seus pais afirmam que o ChatGPT o treinou ativamente para combinar Kratom com o medicamento ansiolítico Xanax. O processo alega que o ChatGPT sugeriu que uma dosagem de 0,25-0,5 mg de Xanax seria “uma das melhores jogadas agora” para aliviar a náusea induzida por Kratom. Nelson morreu após consumir uma mistura de álcool, Xanax e Kratom. O SFGate noticiou a história pela primeira vez em janeiro.
A OpenAI desde então removeu o GPT-4o de seu portfólio de modelos e, em abril passado, reverteu uma atualização após descobrir que ela poderia ser “excessivamente lisonjeira ou concordante”. A empresa também atualizou o ChatGPT para detectar melhor sofrimento emocional, adicionou controles parentais e introduziu um recurso de Contato de Confiança. Em uma declaração, o porta-voz da OpenAI, Drew Pusateri, observou que as interações ocorreram em uma versão anterior do ChatGPT que não está mais disponível e enfatizou que o ChatGPT não substitui cuidados médicos.
Os pais de Nelson estão processando por morte injusta e prática não autorizada da medicina, buscando indenizações e uma pausa no lançamento do ChatGPT Health – um recurso que permitiria aos usuários conectar seus registros médicos ao chatbot. Porque nada diz “seguro” como um chatbot com seu histórico médico e uma atitude de “posso fazer tudo”.