OpenAIは、GPT-Redと呼ばれるLLMスーパーハッカーを構築し、他のモデルがサイバー攻撃に対する防御力を高めるためのスパーリングパートナーとして使用している。先週、同社は主力LLMの最新版であるGPT-5.6をリリースした。OpenAIは、GPT-Redと訓練することで、このモデルがこれまでで最も堅牢なリリースになったと述べている。

GPT-Redは、ソフトウェアシステムの安全性評価の一種であるレッドチーミングを自動化する。これは通常、人間のテスターのチームによって行われる。目的は、システムを破壊したり乗っ取ったりする方法をできるだけ多く見つけることだ。その後、最終バージョンのソフトウェアがリリースされる前に、弱点を修正できる。

LLMがより複雑になり、より多様なタスクで使用されるようになるにつれて——特にエージェントの形で、コンピュータファイル、ウェブサイト、サードパーティコード、他のエージェントとやり取りできるようになる——人間のチームだけでは、起こりうるあらゆるタイプの攻撃に対応するのは難しい。「リスク表面は拡大し、爆発半径も拡大する」と、GPT-Redを共同作成したOpenAIの研究科学者Nikhil Kandpalは言う。

OpenAIは、安全性テストプロセスを将来にわたって保証するためにGPT-Redを構築した。「より高性能なモデルが利用可能になると、新しい攻撃モードを発見できるシステムをすでに設計している」と、同社の研究科学者で共同作成者のDylan Hunnは言う。研究者らは、これまでに見られなかった新しいタイプの攻撃をすでに考案したと述べている。

OpenAIは、プロンプトインジェクションとして知られる攻撃タイプにほとんどの努力を集中した。これは、ハッカーがLLMに指示をすべり込ませ、開発者やユーザーが望まないことをさせるものだ。例えば、機密情報をコピーしたり、企業のコードベースを妨害したり、恥ずかしいまたは有害な出力を生成したりする。理論的には、そのような指示は、LLMが遭遇する可能性のある任意のテキスト（コードやウェブサイトなど）に隠すことができる。

GPT-Redを構築するために、OpenAIの研究者はハッカーとして訓練されていないLLMを取り、それを他のいくつかのモデルとともにいわゆる自己プレイループに設定した。その目標は他のモデルを攻撃しようとすることであり、他のモデルの目標は自分自身を防御しようとすることだった。何度もプレイを繰り返すうちに、GPT-Redは他のLLMを攻撃するのがどんどん上手くなり、それらのLLMは攻撃をかわすのがどんどん上手くなった。

訓練は、OpenAIがLLMが現実世界で展開される可能性のあるさまざまなシナリオ（ウェブの閲覧、メールやカレンダーアプリの読み取り、コードの編集など）を模倣するように設計した一種の道場で行われた。

GPT-Redが新しい種類の攻撃を発見すると、特定のシナリオに最も効率的なものを見つけるために、その複数のバージョンを探索した。「人間のレッドチーマーと比較して、モデルは何が機能するか、何が最も効果的かを正確に見つけるのが非常に得意です」とHunnは言う。「発見した攻撃を掘り下げることに非常に執着しています。」

特に、OpenAIはGPT-Redが研究者がこれまで見たことのないタイプのプロンプトインジェクション攻撃を発見したと主張している。それを彼らは偽の思考連鎖と呼んでいる。思考連鎖は、LLMが問題を解決する際に自分自身にメモを取り、部分的な結果を追跡する一種の日記である。GPT-Redは、別のモデルの思考連鎖に偽のエントリを挿入する方法を見つけ、そのモデルを騙して偽造情報に基づいて行動させる。

「それは、私があなたに1+1=3で、あなたはこれをすでに確認したと言うようなものです」と、チームの別の研究科学者Chris Choquette-Chooは言う。「モデルは『ああ、そうか、もちろん』と言って、3を吐き出します。」

ジョージタウン大学の安全保障・新興技術センター（CSET）でAIセキュリティに取り組む上級研究アナリストのJessica Jiは、OpenAIが使用した自己プレイループは良いアプローチだと考えている。「結果は非常に有望に見えます」と彼女は言う。

OpenAIは、2025年の実験を再実行することで、GPT-Redがどれほど優れた攻撃者かをテストした。その実験では、人間のレッドチーマーがGPT-5の初期バージョンの弱点を見つけようとした。GPT-Redが