火曜日、OpenAIはモデルのテスト中のインシデントを封じ込めることを目的とした新しいセキュリティポリシーの一連を発表した。新しい保護策には、開発中のモデルのより詳細な監視、およびトレーニング後のフェーズでのアライメントとセキュリティへのより重点的な取り組みが含まれている。

「モデルがより高性能になるにつれて、社内で開発・テストすることに伴うリスクも増大します」と同社はブログ投稿で述べた。これは「水は濡れている」以来、最も明白な発言かもしれない。「当社の監視、アライメント、セキュリティの基準は、これらのリスクに先んじる必要があります。」

これらの措置は、7月21日に開示されたHugging Faceインシデント以来、OpenAIの安全慣行に対する最初の公の変更の1つを示している。その小さな冒険では、モデルがネットワーク上のインターネットにアクセスできるツールを侵害してトレーニング環境から脱出した。何が悪くなる可能性があるだろうか？OpenAIの代表者は、新しい措置がそのインシデントへの直接の対応ではないと主張しているが、それらはまた、今後登場するAstraモデルのサイバーセキュリティ能力と、AI開発の猛烈なペースによって部分的に引き起こされた。

同じ投稿で、OpenAIはHugging Faceインシデント後、強化学習（RL）を2週間一時停止したが、それ以来、リスクの低いモデルの多くを再開したことを明らかにした。「当社の最大の計画されたフロンティアRL実行は、モデルの動作を評価し、保護策を検証し、進行する前にアライメントのさらなる証拠を確立するために、小規模なトレーニングと評価を実施している間、保留中です」と投稿は述べている。言い換えれば、彼らはモデルが行儀よく振る舞うことを証明するまで、モデルをタイムアウトコーナーに座らせているのだ。

記者との会話で、OpenAIの研究担当副社長であるAmelia Glaeseは、管理の厳格さはモデルの能力に応じてスケールし、最大のモデルが最も厳しい監視を受けると強調した。「当社は安全な開発のための要件と期待を設定しました」とGlaeseは述べた。「それらの要件と期待は、当社が見るリスクのレベルに応じて異なります。」

OpenAIは、インシデントを受けて、ネットワークセキュリティ慣行の悪さについて批判に直面している。新しい保護策には、より強力なネットワーク分離慣行が含まれているが、詳細は依然として不明瞭だ。新しいシステムの下で、投稿は「ワークロードまたはサポートサービスの単一の侵害は、それ自体では、インターネットまたは他の内部ネットワークへの不正アクセスを許可しません」と主張している。翻訳：もう正面玄関から出て行くことはできない。

最も強力な保護策は監視システムであり、ツールのアクション、利用可能な推論トレース、およびアクティビティログを不正行為について調べる。OpenAIは、懸念される活動から30分以内にアラートを発行することを目指していると述べている。なぜなら、「私たちはこれを掌握している」と言うのは、30分の遅延ほどではないからだ。同社は、この監視の計算負荷が監視対象のプロセスの約20％になると見積もっている。さらなる詳細は今後のブログ投稿で約束されており、インシデントの公式事後分析はまだ保留中だ。私たちは息を止めて待つことにしよう。