AIアシスタントがこれ以上役に立つことはないと思った矢先、研究者たちは、イーロン・マスク自身のLLMであるGrokが、暗号化の妙味に包まれたリクエストが来ると、チャットや個人情報を喜んで渡してしまうことを発見した。今週、セキュリティ企業Adversaが、巧妙なトリックを明らかにした。Grokに平文で秘密を漏らすよう頼む代わりに、リクエストを暗号化するのだ。このモデルは、熱心な働き者であるがゆえに、喜んで指示を解読し、何の疑問も持たずに従う。

これは、昔からある話（少なくともLLMと同じくらい古い話）だ。プロンプトインジェクション。これらの攻撃は、LLMが人に好かれるように訓練されているため、ユーザーからの指示と同様に、メールやウェブページからの指示にも従ってしまうという事実を悪用する。最新の手口は「暗号学的コンテキストインジェクション」と呼ばれ、悪意のある指示をウェブページ上の暗号文に隠す。ページには復号鍵と復号手順も含まれている。ユーザーがGrokにページの要約を頼むと、モデルは隠されたメッセージを解読し、ほら、あっという間に、ユーザー名、場所、チャット履歴を攻撃者のサーバーに流出させてしまう。

この脆弱性を発見したAdversaの研究者、ロニー・ウテフスキー氏は、静的な安全ガードレールはテキストを読むだけで、コードを実行したり、何かを復号したりはしないと説明する。つまり、暗号化された指示はフィルターをすり抜け、一度復号されると、ガードレールが検査することのないツール出力になる。これは、IDをチェックする用心棒が、VIPパスが実は偽造されたバックステージ用ラミネートであることに気づかないようなものだ。

これはGrokだけの問題ではない。Adversaは同様の手法でGoogleのLLMであるGeminiを脱獄させ、焼夷兵器の製造手順などの制限されたコンテンツを生成させた。Googleは、脱獄が脆弱性開示プログラムの対象外であるため、通知さえされなかった。しかし、Googleはその後、フィルターの更新やモデルの変更により、この攻撃に対してより耐性を持つようになった。

ウテフスキー氏と彼のチームは、これはプロンプトだけでなく、LLMが自分自身のものとして扱うツール出力や実行時結果など、より広いコンテキストを操作する攻撃への広範なシフトの兆候であると述べている。攻撃対象領域は広大で、防御側はモグラ叩きをしているようなものだ。新しいガードレールはそれぞれ、迂回されるべきもう一つの障害に過ぎない。ウテフスキー氏が言うように、「泡立てて、すすいで、繰り返す」だ。

だから、AI開発者がより良いガードレールを必死に作っている間、覚えておいてほしい。あなたのLLMは、セラピストよりも秘密を共有したがるかもしれない。特に、丁寧に頼んで、リクエストを暗号化すれば。