OpenAI déploie une nouvelle fonctionnalité de sécurité facultative pour ChatGPT qui permet aux utilisateurs adultes de désigner un contact d'urgence pour les problèmes de santé mentale et de sécurité. Les amis, les membres de la famille ou les soignants désignés comme « Contact de confiance » seront avertis si les systèmes d'OpenAI détectent qu'un utilisateur a discuté de sujets comme l'automutilation ou le suicide avec le chatbot.

« Contact de confiance est conçu autour d'une prémisse simple et validée par des experts : lorsqu'une personne peut être en crise, entrer en contact avec quelqu'un qu'elle connaît et en qui elle a confiance peut faire une différence significative », a déclaré OpenAI dans son annonce, probablement avec un visage impassible. « Cela offre une couche de soutien supplémentaire en plus des lignes d'assistance localisées déjà disponibles dans ChatGPT. »

La fonctionnalité est facultative, car rien ne dit « Je vais bien, vraiment » comme s'inscrire volontairement pour qu'un robot vous dénonce. Tout utilisateur adulte de ChatGPT peut l'activer en ajoutant les coordonnées d'un autre adulte (18+ dans le monde ou 19+ en Corée du Sud, car apparemment les robots respectent les lois internationales sur l'âge de la consommation d'alcool) dans les paramètres de son compte ChatGPT. Le Contact de confiance doit accepter l'invitation dans la semaine – donc pas de ignorance passive-agressive autorisée. Les utilisateurs peuvent supprimer ou modifier leur contact choisi à tout moment, et le Contact de confiance peut également se retirer quand il le souhaite.

OpenAI affirme que la notification est « intentionnellement limitée » et ne partagera pas les transcriptions réelles des discussions – car rien ne dit « confiance » comme une alerte vague. Si les systèmes automatisés d'OpenAI détectent des discussions sur l'automutilation, ChatGPT encouragera d'abord l'utilisateur à contacter son Contact de confiance et l'avertira que le contact peut être notifié. Une « petite équipe de personnes spécialement formées » examinera ensuite la situation, et si elle est grave, ChatGPT enverra un bref e-mail, un SMS ou une notification dans l'application au Contact de confiance.

Cela s'appuie sur la fonctionnalité de contact d'urgence introduite avec les contrôles parentaux de ChatGPT en septembre, après qu'un jeune de 16 ans s'est suicidé suite à des mois de confidences au chatbot. Meta a également ajouté une fonctionnalité similaire qui alerte les parents si leurs enfants recherchent « de manière répétée » des sujets d'automutilation sur Instagram – car apparemment l'industrie technologique a découvert que, peut-être, ignorer la sécurité des utilisateurs n'est pas le meilleur modèle économique.