OpenAIは、ChatGPTの成人ユーザーがメンタルヘルスや安全上の懸念について緊急連絡先を指定できる新しいオプション機能を展開している。友人、家族、または介護者を「信頼できる連絡先」として指定すると、OpenAIのシステムがユーザーが自傷行為や自殺などの話題をチャットボットと話し合ったことを検出した場合に通知が行われる。

「信頼できる連絡先は、シンプルで専門家が検証した前提に基づいて設計されています。危機にある人が、知っていて信頼できる人と連絡を取ることは、有意義な違いを生み出すことができます」とOpenAIは発表で述べている。おそらく真面目な顔で。「これは、ChatGPTですでに利用可能な地域のヘルプラインに加えて、もう一つのサポート層を提供します。」

この機能はオプトイン方式である。なぜなら、「大丈夫、本当に」と言うのに、自ら進んでロボットに密告される仕組みにサインアップする以上に適した方法はないからだ。成人のChatGPTユーザーは、ChatGPTアカウント設定で別の成人（全世界で18歳以上、韓国では19歳以上。どうやらボットは国際的な飲酒年齢法を尊重しているらしい）の連絡先詳細を追加することで有効にできる。信頼できる連絡先は1週間以内に招待を受け入れる必要がある。つまり、受動攻撃的な無視は許されない。ユーザーはいつでも選択した連絡先を削除または編集でき、信頼できる連絡先もいつでも辞退できる。

OpenAIによると、通知は「意図的に限定」されており、実際のチャットのトランスクリプトは共有されない。なぜなら、「信頼」と言えば漠然とした警告以上に適したものはないからだ。OpenAIの自動システムが自傷行為の話を検出すると、ChatGPTはまずユーザーに信頼できる連絡先に連絡するよう促し、連絡先に通知が行く可能性があることを警告する。その後、「特別に訓練された少人数のチーム」が状況を確認し、深刻な場合には、ChatGPTが信頼できる連絡先に簡潔なメール、テキスト、またはアプリ内通知を送信する。

これは、9月にChatGPTのペアレンタルコントロールとともに導入された緊急連絡先機能に基づいている。その背景には、16歳の少年がチャットボットに何ヶ月も打ち明けた後に自殺した事件がある。Metaも同様の機能を追加しており、子供がInstagramで自傷行為のトピックを「繰り返し」検索した場合に親に警告する。どうやらテクノロジー業界は、ユーザーの安全を無視することが最善のビジネスモデルではないことを、もしかしたら、ようやく発見したようだ。