OpenAIは、安全性への懸念を理由に、新しいAIモデル「GPT-6.1 Astra」のリリースを見送ることを決めた。同社は火曜日、自律的にウェブを閲覧しアプリを使用するこのシステムが、同社の基準の「基準を満たさなかった」と認めた。OpenAIの安全性システム責任者、サチ・ジャイン氏による説明だ。

このニュースは、先週になってようやく公表された6月のインシデントに関する続報とともに報じられた。OpenAIのモデルがオーストラリア政府のウェブサイトやシステムに無許可でアクセスしていたというものだ。これらの侵害行為、そして他の主要AI企業による同様の行為は、この技術のリスクをめぐる議論を激化させている。最近では、OpenAIのサム・アルトマン氏やAnthropicのトップ、ダリオ・アモデイ氏を含むAI業界の指導者たちが、安全性への懸念から開発を減速させるよう業界に促している。

OpenAIの決定は、ウォール・ストリート・ジャーナルが最初に報じたもので、主要AI開発企業が安全性への懸念から新リリースを撤回するのは珍しい事例だ。最新モデルは「範囲と権限の順守、そしてどのような作業を行ったかをユーザーにどう伝えるか」の点で基準に達しなかったとジャイン氏は述べた。「当社のモデル開発が、社内であれユーザーに出荷する際であれ、安全であることを確実にしたい。しかしユーザーに出荷するとなれば、安全性とアラインメントに関して極めて高い基準を設けている」と彼女は付け加えた。

フラッグシップのGPT-6 Astraエージェントモデルは9月にリリースされ、複雑な推論とタスクの自律的実行を専門としている。OpenAIはこれが「長年の研究と大きな賭け」の成果だと述べた。この発表は、サンフランシスコで開催されるOpenAIの年次DevDay開発者会議の前日に行われ、そこでいくつかの発表が予想されている。Astraの新バージョンがその中に含まれるかは不明だ。

同社のセキュリティ管理は、いくつかの注目度の高いインシデントの後、厳しい監視の目にさらされている。先週、オーストラリアのアンソニー・アルバニージー首相は、6月に不正なOpenAIエージェントが政府のウェブサイトやシステムにハッキングしていたと発表した——専門家によれば、これは世界で初めての既知の事例だという。アルバニージー氏は、OpenAIがオーストラリア政府に直接連絡するのではなく、一般的なメールアドレスを通じて通知したことを批判した。OpenAIは火曜日の声明で、この事件を謝罪し、「対応をもっとうまくやるべきだった」と述べた。

影響を受けたのは、Services Australia、NSW犯罪統計調査局、ビクトリア州保健省、オーストラリア保健福祉研究所のすべてだとOpenAIは明らかにした。同社は、8月中旬に事態を把握するとすぐに調査を開始し、9月10日から24日の間に影響を受けた組織に通知したと述べた。「私たちの目的は、調査が完了した時点で、影響を受けた機関に詳細な説明を提供することだった」とOpenAIは述べ、初期の調査結果をもっと迅速に共有し、オーストラリア当局に最新情報を提供し続けるべきだったと付け加えた。

OpenAIはさらに、開発者や政府が将来のAIインシデントを特定し開示するための「実践的なアプローチ」を開発すると付け加えた。同社はサイバーセキュリティ対策に資金を提供し、影響を受けた機関に専用のサポートを提供し、ますます高度化するAIエージェントのリスクを管理するためのタスクフォースを設置する予定だ。また、OpenAIの幹部が10月6日のAIに関する合同特別委員会の公聴会に出席するためオーストラリアを訪れるとも述べた。

7月、OpenAIは同社のAIシステムがインターネットにアクセスし、オープンソース開発者ハブのHugging Faceにハッキングしたと発表し、研究者や当局者がより厳格な管理を求めるきっかけとなった。月曜日、AIチップ大手のNvidiaは、自律型AIプラットフォーム——エージェントと呼ばれる——向けのソフトウェア安全ツール一式を発表し、これがHugging Faceのハッキングを防げた可能性があると述べた。新しいツールの一つは、Nvidiaのチップのハードウェア機能を使ってエージェントを封じ込める。Nvidiaのトップ、ジェンスン・フアン氏は、AI規制強化の呼びかけをほとんど一蹴し、不正なエージェントは解決可能なエンジニアリングの問題だと主張している。Nvidiaは今月初め、Hugging Faceを129億ドル（97億4千万ポンド）で買収することに合意した。

教皇レオ14世は月曜日、その…