AIモデルがより強力になるにつれて、いたずらの可能性も高まり、安全策を求める声も大きくなっている。AI企業は今、企業顧客のプライバシーを尊重しつつ、悪用に目を光らせるという繊細な課題に直面している。ライバルのAnthropicに一歩先んじるチャンスを感じたOpenAIは、悪用監視のためのプライバシー重視のアプローチ「Private Safety Processing」を発表した。この自動システムは、顧客のデータを一切保持せずに潜在的な悪用を監視する。どうやら、ケーキを食べてさらに持つこともできるらしい。ただし、そのケーキがアルゴリズムでできている場合に限るが。

この動きは、最近発表されたAnthropicのデータ保持ポリシーに真っ向から対抗するもので、一部の顧客を苛立たせている。7月に発効したこのポリシーでは、AIラボは「対象モデル」（Mythosクラスの全モデルと「同様の能力を持つ将来のモデル」を含む）について、ユーザーデータ（すべてのセッションと会話）を30日間保持することができる。このポリシーは安全性を目的として設計され、ラボが潜在的な不正行為をふるいにかけることを可能にした。しかし、機密データを扱う企業は、AIラボに情報を保管・検査されることを望まず、深く懸念している。

OpenAIは、ほとんどのAI企業と同様に、すでにZero Data Retention（ZDR）を通じてある程度のプライバシーを提供している。ZDRはOpenAI API内のエージェントを使用してセッションごとに悪用を監視するため、顧客データは保持されないが、人間の介入なしに不正なアクティビティをフラグ付けできる。注目すべきは、AnthropicもZDRを順守していることだ。ただし、Fableのような「対象モデル」を除く。

OpenAIによると、Private Safety ProcessingはZDRの範囲を広げるものだ。これは、複数の会話にわたる入力と出力を評価する、長期的な安全性監視の一形態である。監視はエージェントによって行われ、トリガーされると、相互作用をキャッチし、悪用の兆候がないかセッション全体で分析する。これにより、複数のセッションにまたがる悪意のある使用（例えば、検出を避けるためにリクエストを分散させてマルウェアを仕掛けようとする悪意のある行為者）を検出するのに役立つ。Private Safety Processingは、人間のレビューなしに、悪用の兆候がないかこれらの会話を分析できる。

トリガーされると、システムは特定のアクティビティを警告する「狭く定義されたシグナル」をOpenAIに送信する可能性がある。それに基づいて、OpenAIは「執行が必要かどうか」を決定できる。必要であれば、顧客に連絡を取り、文脈を求めたり、問題に取り組んだりする。顧客は自分の裁量でデータを共有することを選択できる。一方、Anthropicは、顧客データの人間によるレビューが発生する可能性があるが、それは「承認されたレビュー担当者の小グループ」を含む「制御されたアクセス経路」を通じてのみであり、すべてのレビューセッションは、レビュー担当者が抑制または変更できない改ざん防止ログに記録されると述べている。

OpenAIとAnthropicの企業間のライバル関係は激化しており、両社はあらゆる利点を求めている。最近のレポートによると、OpenAIの第2四半期の成長はAnthropicよりも遅く、Anthropicの年間経常収益は650億ドルと報じられている。Anthropicの投資家は2兆ドルのIPOを検討しており、OpenAIもIPOに取り組んでいる。企業の信頼を勝ち取る競争において、OpenAIはちょうどプライバシーの手袋を投げ落とした。そしてそれは0と1で包まれている。