火曜日のHot Chipsカンファレンスで、OpenAIはついにカスタム推論チップ「ハラペーニョ」のベールを脱いだ。そして、驚くなかれ、それは得意分野でかなり優秀だ。SemiAnalysisのInferenceXベンチマークでテストしたところ、ハラペーニョは現在の最先端推論プロセッサよりも、ユーザーあたりのトークン数とキロワットあたりのスループットが高かった。これは、つまり、1ワットあたりにより多くのAIを処理できるということで、会計士も環境活動家も嬉しくなるような効率性だ。

「結論から言うと、その結果は最先端に対する非常に非常に大きな性能向上を示しています」と、OpenAIのハードウェア責任者リチャード・ホー氏はプレスコールで述べた。「ハラペーニョは、電力単位あたりにより多くのAI処理を提供できるだけでなく、応答もより速く返すことができます。多くの顧客にサービスを提供するのに非常に効率的ですが、非常に低遅延でもあります。」

しかし、パレードを計画し始める前に、ここが肝心な点だ。その比較対象はNvidiaのBlackwellシステムであり、ハラペーニョが実際に市場に出る頃には、Blackwellにはさらにいくつかのトリックが用意されているかもしれない。ホー氏は、ハラペーニョは2026年末に「ごく少量」展開され、より本格的な展開は2027年になると見積もった。つまり、フルフレーバーを味わうにはまだ時間があるということだ。

昨年10月に初めて発表されたハラペーニョは、OpenAIがBroadcomと緊密に協力して開発し、開発プロセスにはOpenAI自身のモデルも関与した。同社はハラペーニョを多世代プラットフォームにし、AI製品、モデル、チップ、メモリをすべて連携して開発する計画だ。このフルスタックアプローチにより、OpenAIは推論処理中にしばしば摩擦を引き起こす推論プロセスの特定のフェーズに対処することができた。特に、ハラペーニョは処理のプリフィルと通信フェーズ中の遅延を最小限に抑えるように設計されており、OpenAIはこれらがしばしばボトルネックになると述べている。

「当社は、データ移動と通信遅延を最小限に抑えるようにハラペーニョを設計しました」と同社は結果を発表したブログ投稿で述べている。「これにより、応答生成中に使用されるKVキャッシュを含むモデル状態を、各推論フェーズに適した計算、メモリ、ネットワークの組み合わせをシステムがアクティブ化する間、明示的に配置してローカルに保つことができます。」言い換えれば、彼らはチップを物を置く場所に賢くし、物を探し回らなくてもいいようにしたのだ。画期的だよね、私たちも知ってる。