总部位于迈阿密的AI初创公司Subquadratic从隐身模式中现身，其宣称之大足以让Transformer脸红：他们据称破解了近十年来一直困扰大型语言模型的数学瓶颈。该公司的新模型SubQ承诺比市场上任何其他产品更快、更便宜、更节能，同时一次能处理多达12倍的文本。这就像一口气读完《战争与和平》，而不是一页一页地翻。

但问题来了：当Subquadratic上个月发布其宏大声明时，证据明显缺失。怀疑迅速而无情。AI工程师Dan McAteer在X上总结了这种情绪：“SubQ要么是自Transformer以来最大的突破……要么就是AI版的Theranos。”哎哟。

一个月后，该公司开始拿出证据，发布了由第三方公司Appen进行的独立测试结果。数字看起来很有希望：SubQ在编码测试LiveCodeBench上得分为89.7%，并且比使用FlashAttention（一种先前的稀疏注意力技术）的模型快56倍。“这让我非常兴奋，它验证了他们的架构，”Appen的生成式AI研究总监Jeanine Sinanan-Singh说。

那么秘诀是什么？Subquadratic放弃了密集注意力——Transformer的核心操作，它将每个token与每个其他token相乘，导致计算量呈二次方爆炸——转而采用稀疏注意力，只选择性地相乘某些对。其理念是并非每个词之间的关系都重要；你不需要为了总结《了不起的盖茨比》而将第一个词和最后一个词联系起来。“如果你在读一本书，你不会去看第一个和第二个词、第一个和第三个——那太疯狂了，”联合创始人Alex Whedon说。

Subquadratic不会透露SubQ具体如何选择要关注的词——因为，你知道，商业机密——但声称它是动态的并在运行时计算。成本节省令人瞠目：通过一个名为RULER 128的测试运行Anthropic的LLM Opus需要花费2600美元，而SubQ据称只需8美元。这不是笔误。

在你扔掉OpenAI订阅之前，有一些注意事项：SubQ重用了中国开源模型Qwen的权重，而不是从头训练，这削弱了完全重新发明的说法。而且该模型仍然主要处于等待名单状态，只有少数用户有实际体验。“公开证据尚不能证明他们解决了二次注意力瓶颈这一更强的主张，”独立研究员Will Depue说。

Subquadratic方面对怀疑持哲学态度。“我们希望我们正在开启一个效率的新时代，”CEO Justin Dangel说。“我们认为几年内不会有人再基于Transformer构建。”在那之前，世界在等待——并想知道这是下一个大事件还是另一个资金充足的数学问题。