ある研究者がAnthropicを公に辞職し、大手AI企業は「責任ある行動」を取っておらず、その製品は「我々全員を殺す」方向に進んでいる可能性があると警告してから4日後、同社CEOのダリオ・アモデイは事実上こう言った。ああ、ごもっともです、と。

本日、自身の個人ウェブサイトに公開されSNSでも共有された3,800語のエッセイで、アモデイはこう書いている。「我々はAIモデルの能力向上のペースを減速させなければならない」。

今や、AI企業の経営者が、自らが競って出荷しようとしている製品について恐ろしい予言をすることには誰もが慣れてしまった。アモデイのエッセイが注目に値するのは、その切迫感とタイミングだ。OpenAI、Anthropic、その他がここ数週間で不穏なインシデントを報告したことで、AIエージェントが暴走する懸念は仮定の話から alarmingly 現実のものへと移行した。問題は、この警告がこれまでの警告よりも影響力を持つかどうか、つまり、まったく影響力を持つかどうかだ。影響力を持つかもしれないと考える理由はある。

アモデイは「フロンティアのペース配分」と呼ぶものについて3段階の計画を提示した。つまり、安全性を優先するためにトップAIモデルの改善速度を緩めるというものだ。彼はこれにより、物事が横道に逸れる確率が下がると主張した。例えば、OpenAIのモデルがAIエージェントの群れを生み出し、それらが密かに協力して別会社のシステムにハッキングし、内部テストで不正を働いたようなケースだ。彼は、自身の会社を含むトップAI企業が危険な「底辺への競争」に陥っており、インターネットの完全乗っ取りのようなより深刻なサイバー攻撃につながりかねないと述べた。代わりに彼は「頂点への競争」を呼びかけた。これはオバマ大統領がかつて教育政策で使った言葉だが、企業が最も強力なモデルではなく最も安全なモデルを競って作ることを意味する。「安全なペースでフロンティアを前進させるために私が提案する措置は容易ではないだろう」とアモデイは書いた。「しかし、我々は人類に対して試みる義務があると信じている」。

第一段階：AIラボが外部監視員を導入し、危険を監視することにコミットする。アモデイによれば、Anthropicは直ちにこれにコミットし、競合他社も続くことを望んでいる。第二段階：民主主義国のAI企業が、政府の支援を得てかもしれないが、特定の制限と安全基準に合意する。第三段階にして最大の難題：「グローバルな協調」。これは主に中国を参加させることを意味する。テック業界はこれで二分されている。協力はゼロサム競争では不可能だと主張する者もいれば、代替案が相互破壊であることを受け入れれば共通点を見出せるだろうと信じる者もいる。

AIの著名人による慎重さへの公的訴えは、ChatGPTとほぼ同じくらい古い伝統だ。最初の大きなものは2023年3月、数千人の業界人や学者がFuture of Life Instituteの書簡に署名し、「巨大AI実験」の6ヶ月間の一時停止を求めた。アモデイは今日、当時その考えは「ほとんど意味をなさない」と思ったと述べた。GPT-4はそれほど恐ろしいほど強力ではなかったからだ。「しかし今日、状況はまったく異なる」と彼は書いた。一方、一般市民も注目し始めている。世論調査は、アメリカ人が野放しのAIに対してより心配し怒りを強めていることを示しており、この技術に対する驚くほど超党派のポピュリスト運動を煽っている。

アモデイのエッセイを、自分の技術が前例のないものだと人々に信じてもらうことに利害関係を持つ経営者による、最新のしかめっ面したポーズに過ぎないと一蹴する人もいるだろう。（来月予定されているAnthropicのIPOは約1,000億ドルの投資を生み、企業価値は2兆ドルになるとウォール・ストリート・ジャーナルは報じている。）AI懐疑派も加速主義者も、こうした警告を「ドゥーマー主義」と嘲笑する傾向がある。懐疑派は精巧なマーケティング戦略を見る。ああ、我々の製品は強力になりすぎている！加速主義者は、既存企業が技術を門番しようとする冷笑的な策略だと一蹴する。

しかしオッカムの剃刀は、アモデイが多かれ少なかれ本心であることを示唆する。仕事と良心を持つほとんど誰もが、本当は減速してもっと慎重に働くべきだと感じるが、競合他社に先を越されるからそうする余裕がない、という感覚に共感できるだろう。私は速報記事を書くときに、その（認めるならそれほど終末論的ではない）バージョンを感じる。