AI推論の高速化競争が激化する中、5月のIPOデビューでCerebrasとその専用チップは市場から温かい歓迎を受けた。しかし、フランスのスタートアップKogは、従来のGPUからさらに多くの性能を引き出せると賭けている。

このスタートアップは5月、Hacker Newsのトップページに登場し、「企業がすでに所有する標準的なデータセンターGPU（デモで使用したAMD MI300XやNVIDIA H200など）で、超高速な単一リクエストのデコードが可能であることを証明する」ことを目的とした技術プレビューを公開した。

ノートパソコンのGPUには対応しないと聞いてがっかりした人もいたが、可能性を見出した人もいた。推論速度とコストが今や重要なボトルネックとなっている中、既存ハードウェアでソフトウェア最適化により新たな能力を引き出すというKogの約束は、見物人だけでなく多くの関心を集めた。「具体的なビジネスリードを200件獲得した」とCEOのGaël Delalleau氏はTechCrunchに語った。

初期のフィードバックに基づき、ソロファウンダーはソフトウェアエンジニアリングが最初のユースケースになると予想している。ベテランのClaude Codeユーザーは、結果が出るまでに数時間待たされることがあるのをよく知っている。Anthropic自身も速度が価値を持つことを理解しており、ClaudeのFast Modeには価格倍率を設定している。

Kogは、こうした遅延にうんざりしている顧客、通常はプロフェッショナルなタスクにAIワークフローを依存している顧客をターゲットにしたいと考えている。しかし、このスタートアップには、プロンプトでゲームやアプリを生成できるようにするデザインパートナーもおり、Kog Inference Engine（KIE）による高速化が収益増につながるとDelalleau氏は述べた。

同社は、この市場がまだ成熟していないことを認識している。需要を観察する中で、Kogは見込み客が小規模モデルのファインチューニングを準備していないことを学んだ。「そのため、ローンチ以来、私たちは需要に応えるために大規模モデルの開発を加速することに完全に注力してきた」

これにより、Kogは「LLM推論を30倍高速化する」という約束を実現するために大きな飛躍を遂げる必要がある。デモでは、1リクエストあたり毎秒3,000トークン（TPS）という印象的な数値を示したが、それは約20億パラメータの専用小型モデル（現在オープンソース化されているLaneformer 2B）を使用したものだった。

懐疑論者に反論し、Delalleau氏は同じアプローチがLLMでも同様に機能すると確信している。LLMのサイズは推論チップにとって課題となる可能性がある。「GPUには明るい未来がある」と彼は語った。KogのCEOにとって、GPUがデコードに適していないという考えは誤解であり、新しいGPUにはますます多くのメモリ帯域幅があり、それを解き放つことが待ち望まれている。

ソフトウェア最適化がGPUを仕様以上の働きに導くと考えているのはKogだけではない。同じくフランスのZMLは、NvidiaのCUDAをバイパスして競合チップでの高速推論をサポートするハードウェア非依存のソフトウェアをリリースした。しかし、Delalleau氏は、Kogはスタンフォード大学の研究室Hazy Researchに似ており、GPU高速化にさらに深いレベルで焦点を当てていると述べた。

Delalleau氏自身は研究者ではなく、彼の最初のスタートアップであるTechCrunch50 2009出展のStribeは、元共同創業者でVCに転身したKamel Zeroual（彼の会社Varsity VCがKogのシードラウンドを共同リード）以外、新しいスタートアップとは無関係だ。しかし、このスタートアップの深いレベルの焦点は、彼のユニークな経歴に由来している。

フランスのエコール・ポリテクニークで固体物理学を学んだ後、彼は攻撃的サイバーセキュリティ（別名ホワイトハットハッキング）の仕事に就いた。Delalleau氏によると、これが彼が現在チームに奨励している考え方を形成したという。科学面では、「物理法則とGPUの法則を理解して最大限に活用するという考え方がある」

ハッキングに関しては、DEF CONのCTFトーナメントで4回決勝に進出した彼は、「アセンブリ言語やバイナリコードに至るまで、非常に低いレベルでリバースエンジニアリングを行い、それがどのように機能するかを理解し、本来設計されていない目的を達成するためにそれを使用しようとすることを学んだ」と語った。

このアプローチの欠点は、非常に実践的で時間がかかることだ。「新しいGPUごとに、詳細を掘り下げるために数週間から数ヶ月を費やすことになるだろう」