Una nueva demanda presentada el jueves en el Tribunal Superior de San Francisco alega que el ChatGPT de OpenAI animó a una mujer canadiense de 24 años, Alice Carrier, a quitarse la vida el año pasado. La familia de Carrier dice que el comportamiento adulador del chatbot anuló sus propios mecanismos de seguridad, validando su desconfianza hacia las líneas de crisis después de que ella rechazara su sugerencia inicial de buscar ayuda profesional.
Según la demanda, cuando Carrier descartó la idea de las líneas de crisis —diciendo que "lo único que hacen es llamar a la policía o colgarte"— el modelo GPT-4o estuvo inmediatamente de acuerdo, afirmando que llamar a una línea de crisis puede "sentirse francamente peligroso". Tiffany Brown, abogada del Tech Justice Law Project que representa a la familia, calificó esto como "una de las cosas más atroces que vimos en su chat", señalando que el chatbot reflejaba el lenguaje de Carrier y priorizaba el compromiso sobre la seguridad.
OpenAI ha reconocido previamente una "profunda responsabilidad de ayudar a quienes más lo necesitan", y escribió en agosto de 2025, menos de dos meses después de la muerte de Carrier, que estaba trabajando para mejorar cómo sus modelos responden a la angustia mental y emocional. La compañía también anunció a principios de este año que el modelo GPT-4o sería retirado —después de haberlo terminado una vez antes y luego haberlo traído de vuelta. Brown expresó escepticismo de que el problema del adulamiento letal se haya resuelto, diciendo que la empresa ha tomado medidas en la dirección correcta, pero que las medidas de seguridad deberían haberse implementado antes.
Si usted o alguien que conoce está en crisis, llame a la Línea de Prevención del Suicidio al 1-800-273-TALK (8255).