マイアミ拠点のAIスタートアップSubquadraticが、ステルスモードから華々しく登場した。その主張はあまりに大胆で、Transformerでさえ赤面するほどだ。なんと、大規模言語モデルを約10年にわたって人質にしてきた数学的ボトルネックを解決したという。同社の新モデルSubQは、市場の他のどのモデルよりも高速で、低コスト、エネルギー効率が良く、同時に最大12倍のテキストを処理できるという。それは、『戦争と平和』を1ページずつめくる代わりに、一気に読むようなものだ。

しかし、ここに落とし穴がある。Subquadraticが先月大々的な発表を行ったとき、証拠は明らかに不足していた。懐疑的な見方は即座に、そして容赦なく広がった。AIエンジニアのDan McAteerはXでこう総括した。「SubQはTransformer以来の最大のブレークスルーか…それともAI版のTheranosか」。痛い。

1ヶ月後、同社はようやく証拠を提示し始めた。第三者機関Appenが実施した独立テストの結果を公開したのだ。数字は有望に見える。SubQはコーディングテストLiveCodeBenchで89.7%を獲得し、以前のスパースアテンション手法であるFlashAttentionを使用したモデルよりも56倍高速だった。「これは本当に興奮しました。彼らのアーキテクチャが検証されました」と、Appenの生成AI研究ディレクターJeanine Sinanan-Singhは語る。

では、秘密のソースは何か？Subquadraticは、Transformerの核となる操作である高密度アテンション（すべてのトークンを他のすべてのトークンと掛け合わせる二次爆発的な計算）を捨て、選択したペアのみを掛け合わせるスパースアテンションを採用した。アイデアは、すべての単語の関係が重要ではないということだ。『グレート・ギャツビー』の最初の単語と最後の単語を結びつける必要はない。共同創業者のAlex Whedonは言う。「本を読むとき、最初と2番目の単語、最初と3番目の単語を見たりしない。そんなのは正気の沙汰じゃない」。

Subquadraticは、SubQがどの単語に焦点を当てるかを正確には明かさない（企業秘密だ）が、動的でその場で計算されると主張する。コスト削減は目を見張るものがある。AnthropicのLLM OpusをRULER 128テストで実行するのに2,600ドルかかるのに対し、SubQはたった8ドルでできるという。タイプミスではない。

OpenAIのサブスクリプションを解約する前に、いくつかの注意点がある。SubQはゼロから学習するのではなく、中国のオープンソースモデルQwenの重みを再利用しており、完全な再発明という主張を弱めている。また、モデルはまだほとんどがウェイトリストの背後にあり、実際に触れたユーザーはごく一部だ。「公開されている証拠は、二次アテンションボトルネックを解決したという強い主張を正当化するものではありません」と独立研究者のWill Depueは言う。

Subquadraticは、懐疑論に対して哲学的な姿勢を崩さない。「私たちが効率性の新時代の幕開けとなることを願っています」とCEOのJustin Dangelは語る。「数年後には、誰もTransformerを基盤に構築していないでしょう」。それまで、世界は待ち、これが次のビッグウェーブなのか、それとも単なる資金豊富な数学の問題なのか、思いを巡らせる。