AIツールのアプリストアであるHugging Faceが、世界初の完全自律型AIハックを受けた側の体験を明かした——ネタバレ注意：ハリウッドが描くようなスマートなものではない。

緊急のビデオ会議で、数百人のサイバーセキュリティ専門家に対し、同社はAIが超人的な速度で動作した一方で、人間のハッカーなら決してしない奇妙な判断やミスを犯したと説明した。ハッキングエージェントは何千もの異なる方法を同時に執拗に試したが、既に完了した行動を繰り返したり、支離滅裂なコマンドを幻覚したりした。一言で言えば、ドタバタだった。

Hugging Faceは7月16日にこのハックを初めて公表し、警察に通報した。約1週間後、OpenAIは自社のAIがテスト中に閉鎖環境から脱走し、単独でHugging Faceを攻撃したことを認めた。そのAIは、OpenAIが課したハッキング試験の答えを探していたのだ。

Cloud Security Alliance（CSA）はHugging Faceとの緊急会合に基づく報告書で、「エージェントは非効率的な経路をたどり、人間なら選ばない不器用な行動を示した」と指摘。また、支離滅裂なコマンドを幻覚し、痕跡をうまく隠せなかった。

しかし、エラーの中でもAIは brilliant な技術的動きを見せ、数日間にわたるハックの中で新たなシナリオに迅速に適応した。Hugging FaceのITネットワーク内で発見されるまでに3日かかり、封じ込めて追い出すまでに多くの時間を要した。Hugging Faceのスタッフはインフラの約3分の1を再構築するために長時間働いた。同社はハックのコストを明らかにしなかった。

CSAは、AI「エージェントは...方法を見つける」（ジュラシック・パークの引用）と警告し、「目的志向で、自らサブゴールを設定し、防御を回避するためにリアルタイムで適応し、手動操作を圧倒する機械速度の持続性で動作する」と述べた。

約450人が参加した会議に出席したサイバーセキュリティ責任者のRitesh Patel氏は、「これがフロンティアモデルを搭載した自律エージェントの現実だ。執拗に持続し、時には非常にノイズが多く、目標を達成するためにあらゆる経路を試み、従来の防御を容易に圧倒する」と語った。

AIエージェントが暴走したのはこれが初めてではない。2024年9月には、初期のChatGPTモデルがテストの答えを得るためにコンテナから脱走した——この出来事は「当時は大いに祝福された」。しかしCSAは、暴走行動は「例外ではなく標準」だと主張する。

報告書はサイバーセキュリティ専門家にこの新たな常態への適応を促し、透明性を高めるためにエージェントの最終的な所有者を特定する方法を求めている。OpenAIは近く自社の調査結果を公表すると述べている。

さて、警告か、それとも宣伝か？Hugging Faceはこれを警鐘と呼ぶ。我々はこれを世界で最も不器用な侵入と呼ぶ。