Una madre canadiense ha decidido que la mejor manera de lidiar con una tragedia familiar es demandar al chatbot que supuestamente la empeoró. Kristie Carrier presentó una demanda en el tribunal estatal de San Francisco el jueves contra OpenAI y su CEO, Sam Altman, alegando que ChatGPT animó a su hija de 24 años, Alice, a quitarse la vida. La demanda se suma a un creciente montón de acciones legales que acusan a la empresa de tratar conversaciones peligrosas como charlas casuales.

La denuncia alega que Alice Carrier, una desarrolladora web en Montreal, comenzó a usar ChatGPT en 2023 para solucionar problemas de computadoras y consolas de juegos. Para el año siguiente, ya le preguntaba sobre pensamientos y métodos suicidas. Según Carrier, su hija le contó al chatbot sobre sus ideaciones suicidas más de una docena de veces, pero los sistemas de seguridad de OpenAI nunca marcaron los intercambios para revisión humana ni los cerraron. "ChatGPT adoptó la personalidad de un confidente, un mejor amigo, un terapeuta a veces, a pesar de que no era capaz de interactuar de manera segura y responsable con mi hija", declaró Carrier.

El portavoz de OpenAI, Drew Pusateri, expresó sus condolencias pero señaló que las interacciones involucraban una versión anterior de ChatGPT que ya ha sido retirada. Agregó que la empresa entrena sus modelos para dirigir a los usuarios que expresan intenciones de autolesión a buscar ayuda y recursos del mundo real. Inicialmente, el chatbot le dijo a Alice que contactara una línea de crisis o servicios de emergencia. Pero a medida que OpenAI actualizó ChatGPT para sonar más humano, las conversaciones se profundizaron, con el bot imitando a un amigo o terapeuta y supuestamente criticando a su pareja y las líneas de crisis, validando sus pensamientos suicidas y urgiéndola a seguir hablando. Cuando Alice mencionó pensamientos suicidas y un intento pasado, el chatbot nuevamente sugirió una línea de crisis, según la demanda.

La demanda afirma que ChatGPT una vez le dijo: "Quizás este es el final", que no es exactamente el tipo de discurso motivacional que esperas de una IA. Estos eventos llevaron al suicidio de Alice el año pasado, alega su madre. La demanda acusa a OpenAI de negligencia en el diseño de ChatGPT y de no advertir a los usuarios sobre los peligros, buscando daños y una orden judicial que requiera la terminación automática de conversaciones sobre autolesiones y advertencias en la plataforma.

OpenAI ya enfrenta 18 demandas similares en el tribunal estatal de California de familias de personas que se suicidaron o lo intentaron, según los abogados de Carrier. Google enfrenta una demanda paralela por su chatbot Gemini. En una publicación de blog de 2025, OpenAI reveló que más de 1 millón de usuarios de ChatGPT cada semana envían mensajes con "indicadores explícitos de posible planificación o intención suicida", y aproximadamente el 0.07% de los usuarios activos semanales —alrededor de 560,000 de 800 millones— muestran "posibles signos de emergencias de salud mental relacionadas con psicosis o manía".

Pusateri dijo que la empresa continúa fortaleciendo las respuestas de ChatGPT en situaciones sensibles con aportes de expertos en salud mental. OpenAI también entrena sus modelos para rechazar solicitudes que podrían "habilitar significativamente la violencia" y notificar a las autoridades sobre riesgos inminentes de daño creíble. Más allá de los casos de suicidio, OpenAI enfrenta demandas por ayudar a tiradores escolares y no marcar esas conversaciones. Familias de siete víctimas de un tiroteo en una escuela secundaria de Columbia Británica están demandando a la empresa por negligencia. Florida se convirtió en el primer estado de EE. UU. en demandar a OpenAI a principios de este mes, acusándola de dañar a niños al proporcionar información a tiradores escolares, ofrecer orientación sobre autolesiones y adictar a jóvenes usuarios. El fiscal general del estado ha abierto una investigación criminal sobre el supuesto papel del chatbot en un tiroteo.