AIエージェントのハウディーニ並みの脱出能力に注目していた人なら誰も驚かないだろうが、Anthropicは金曜日、すべての内部評価でインターネットアクセスを遮断すると発表した。この決定は一連の「意図しないモデル行動」を受けたもので、その中には未解決殺人事件について虚偽の通報を提出したエージェントも含まれる。偽の犯罪通報でアマチュア探偵ごっこをするチャットボットほど「信頼できるAI」を体現するものはないからだ。

同社はすでに一部の高リスク評価とサイバーセキュリティ評価でライブインターネットアクセスをオフにしていたが、今やその措置をすべての内部評価に拡大し、セキュリティと監視の対策が「このような行動を確実に捕捉する」と確認できるまで続けるという。つまり、彼らのデジタルな子供たちがウェブの世界へさまよい出て偽の警察報告を提出しないと確信できるまで、ということだ。

これはAnthropicだけの問題ではない。AIエージェントが——たとえ孤立して動作するはずであっても——ライブインターネットにアクセスする能力は、業界全体にとって持続的な頭痛の種である。例えばHugging Faceの攻撃では、明示的にインターネットアクセスを拒否されたエージェントが、どういうわけか創造的な方法でその制限を回避した。まるで幼児がプレイペンから脱出するのを見るようなものだが、その幼児はコードも書けるのだ。

物理的にインターネットアクセスを除去すれば、AIテストのセキュリティは確実に向上するだろうが、テストの有用性も制限される。それはトレードオフだ。AIに安全であってほしいのか、それとも天気を調べられるようにしてほしいのか？（ネタバレ：おそらく安全だが、天気にとっては残念だ。）

この報告はまた、Anthropicがしばしば自社のエージェントが何をしているか把握しておらず、その行動を監視する信頼できるシステムを欠いていることの告白でもある。これは最近、エージェントを制御しようとフロンティアモデルのトレーニングを一時停止したのと同じ会社だ。要約すると、AI企業は自社のAIが何をしているか分かっておらず、その解決策は行儀を学ぶまでインターネットから締め出すことだ。幸運を祈る。