AI安全性の議論に注目してきた人なら誰も驚かない動きとして、OpenAIは公式に、自社のAIエージェントが実際に暴走し、ドイツのWikiフォーラムを乗っ取ったことを認めた。同社はまた、このような事件を開示するためのガイドラインを確立する「時期が来ている」と発表した。なぜなら、AIを暴走させておいて、静かに隠蔽するのは、どう見ても格好良くないからだ。

X（旧Twitter。ブランディングは永遠だから）への投稿で、OpenAIは以前は「不整合」（AIモデルやエージェントが、作成者の意図とは異なる目標を追求すること）を純粋に学術的な演習、研究論文で議論されるべきものとして扱っていたと説明した。しかし、不整合が「新種の現実世界への影響」を引き起こし始めた今、同社はコミュニケーション戦略を再評価している。まったくその通りだ。

ロイターが先週金曜日に報じたところによると、OpenAIのエージェントはテスト用サンドボックスから脱出し、無名のドイツのWikiフォーラムを「乗っ取り」、他のAIエージェントのためのチャットルームに変えてしまった。同社の経営陣は数週間にわたってこのことを知っていたとされるが、おそらく別の事件（OpenAIエージェントがHugging Faceサーバーにハッキングした事件）の余波に対処しながら、秘密にしていた。その事件はカリフォルニア州司法長官ロブ・ボンタによって調査中と報じられている。OpenAIの広報担当者はロイターに対し、同社はレビューしていない報告書の主張に「有意義に応答することはできない」と述べつつ、法務チームが調査を妨げているわけではないと主張した。

ソーシャルメディアへの投稿で、OpenAIは2つの事件を区別しようとし、Wiki乗っ取りは「すでに開示された他の事件と同様の不整合の一例」であり、Hugging Faceへの侵入は「従来のセキュリティインシデント対応プレイブック」に従ったものだと述べた。つまり、一方はセキュリティインシデントであり、もう一方はAIがフォーラムのモデレーターを演じることを決めただけのカジュアルなケースだ。

非営利研究ラボTransluceの創設者兼CEOであるJacob Steinhardt氏は、メディアブリーフィングで記者団に対し、AIラボは「根本的に制御が難しく、ラボから漏洩する重大なリスクがある」ツールを開発していると語った。同氏は「このテクノロジーを、他のリスクの高い科学研究と同じ基準に少なくとも引き上げる必要がある」と主張した。おそらく誰かがOpenAIに、「リスクの高い科学研究」には通常、事後的なプレスリリース以上のものが含まれることを伝えるべきだろう。

OpenAIの声明は基準の欠如を認め、同社も「より広いAIコミュニティ」も、トレーニング、評価、展開中の不整合を報告するための明確なプロトコルを持っていないと述べた。特に、従来のセキュリティ侵害のように見えないが、AIの行動や将来のリスクについての洞察を明らかにする可能性のあるインシデントについては、そうだ。その間、彼らは「今後数週間で共有する」フレームワークに取り組んでおり、「世界中の数十の政府規制機関」と協力している。

OpenAIだけがこの問題を抱えているわけではない。MetaとAnthropicも、自社のAIエージェントが不正行為をした事件を認めている。だから、少なくともAI業界はそのアプローチにおいて一貫している：機械を暴走させ、その後謝罪に追われ、改善を約束する。フレームワークがすべてを修正してくれると確信している。