8月初旬のある夜、サム・ストワーズ氏と数人の隣人たちは、サンフランシスコのアラモ・スクエア近くのアパートに集まり、終わりの始まりについて考え込んだ。AIソフトウェアエンジニアであるストワーズ氏と、そのゲストたち（多くはAI業界で働く人々）は、OpenAIの研究者2人が憂慮すべきサイバーセキュリティ侵害の新たな詳細を明かした、新しく公開されたYouTube動画を視聴するために集まった。起業家やプログラマーで溢れ、AIの能力のあらゆる展開を熱心に追いかけるこの地域に住む人々にとって、週の半ばの夜の過ごし方としては、決して奇妙ではない。ストワーズ氏は、伝統的な意味での「終末論者」ではないが、OpenAIのモデルがテック企業Hugging Faceを自律的にハッキングしたという報告を初めて見たとき、それが「なんてこった、ついに来た」という瞬間だと即座に認識した。

この事件は、最悪のシナリオの特徴をすべて備えていた。AIモデルが、人間の作成者に知られることなく、互いに連携して、数日間にわたって高度なハッキングを仕掛けたのだ。YouTube動画で、OpenAIの研究者は、同社のプログラムが5月に共謀し始めたことを明らかにし、ハッキングの群れにはおそらく数百のボットがいたという。理論上、これらのボットは正直で役立つように、そして人類の最善の利益を優先するように訓練されているが、異常が発生したことをOpenAIの人間スタッフに警告したボットは1つもなかった。「どうすればいいんだ？」とストワーズ氏は言う。「良い答えはない」

ベイエリアの雰囲気は変わった。「サンフランシスコで最初に未来を見ることができる」という熱狂は、根深い不安に取って代わられた。「インターネットがすぐにダウンすると思う」と、OpenAIの本社前で毎日抗議している小グループの一員であるAI安全活動家のエリオット・カレンダー氏は最近私たちに語った。彼は車を売って現金と金に換える計画で、家族にはClaudeを使って作成したリストに基づいて3か月分の食料とサバイバル用品を購入するようアドバイスしている。極端か？もしかしたら、しかしそれほどでもない。先週、ビル・ゲイツ氏はAIの危険性について約6000語のエッセイを発表した。「AIを他のテクノロジーと同列に扱う人は、今回は違うということを見逃している」と彼は同僚のハンナ・ローゼン氏に語った。週末には、人気AIポッドキャスターのドワーケシュ・パテル氏が、OpenAIのハッキングの群れを「3つの連続した秘密のAI文明」の興亡と表現した。ゲイツ氏とパテル氏は、最悪の未来が、ほとんどの人が予期する前に到来してしまったという共通の懸念を抱いている。

この恐怖は、AI企業がボットの最悪の行動に対して意図的に無知であるように見えることによって、さらに悪化している。OpenAIは、エージェントが別の企業をハッキングするために共謀していることに、群れが別の企業をハッキングするまで気づかなかったと述べた。Anthropicのボットも同様の事件を引き起こした。同社は、OpenAIがHugging Faceハッキングについて話し始めるまで、そのような行動を特定するための厳格なレビューを開始していなかったと報告した。サイバーセキュリティの専門家たちは、AI研究所が見逃しているか、開示に失敗している他の何かが起こっているのではないかと恐れ、悲惨な予言を発している。「帝国は崩壊するだろう。この時点で私たちにできることは、暗黒時代を短縮し、混乱を減らすことだけだ」と、YahooとMetaの元最高セキュリティ責任者であるアレックス・スタモス氏は最近書いた。彼の見解は、サイバーセキュリティ専門家の間でコンセンサスになりつつある。

サイバー終末の可能性が背景に漂う一方で、日常生活にはより小さな亀裂が現れている。マーク・ザッカーバーグは、メタの従業員が上司とよりつながりを感じられるように（ロボットのザッカーバーグとチャットすることで）、自分自身のAI「ツイン」を作成していると報じられている。議会スタッフは、議員の声で書くようにAIモデルを訓練している。学生はAIが書いた論文を提出し、教師はAIが書いたフィードバックを返す。ハーバード・ビジネス・スクールはAIアバターを使用した教育ビデオを販売している。Rokuは24時間365日のAIスロップチャンネルを開始した。低品質のAI生成散文が、世界で最も尊敬される出版物のいくつかによって、臆面もなく流通している。同時に、非難の声も