마이애미에 본사를 둔 AI 스타트업 Subquadratic이 스텔스 모드를 벗어나 거침없는 주장을 내놓았다. 트랜스포머도 얼굴 붉힐 만한 주장이다: 그들이 거의 10년 동안 대규모 언어 모델을 얽매어 온 수학적 병목 현상을 해결했다는 것이다. 이 회사의 새 모델 SubQ는 시중의 어떤 것보다 빠르고 저렴하며 에너지 효율적이면서도 한 번에 최대 12배 많은 텍스트를 처리한다고 약속한다. 마치 《전쟁과 평화》를 한 페이지씩 넘기는 대신 한 번에 통째로 읽는 것과 같다.

하지만 문제는 여기에 있다: Subquadratic이 지난달 대대적인 발표를 했을 때, 증거는 눈에 띄게 부재했다. 회의론은 신속하고 무자비했다. AI 엔지니어 Dan McAteer는 X에서 분위기를 이렇게 요약했다: "SubQ는 트랜스포머 이후 최대의 돌파구이거나... AI 테라노스다." 아야.

한 달 후, 회사는 증거를 제시하기 시작했으며, 제3자 업체 Appen이 실시한 독립 테스트 결과를 공개했다. 수치는 유망해 보인다: SubQ는 코딩 테스트인 LiveCodeBench에서 89.7%를 기록했으며, 이전의 희소 어텐션 기법인 FlashAttention을 사용한 모델보다 56배 빨랐다. "정말 흥미로웠고, 그들의 아키텍처를 검증해 주었다"고 Appen의 생성형 AI 연구 책임자 Jeanine Sinanan-Singh는 말한다.

그렇다면 비결은 무엇일까? Subquadratic은 트랜스포머의 핵심 연산인 밀집 어텐션(dense attention)을 버리고, 선택된 쌍만 곱하는 희소 어텐션(sparse attention)을 채택했다. 모든 단어 관계가 중요한 것은 아니라는 발상이다. 《위대한 개츠비》의 첫 단어와 마지막 단어를 연결할 필요 없이 요약할 수 있다. "책을 읽을 때 첫 번째와 두 번째 단어, 첫 번째와 세 번째 단어를 보지 않는다. 그건 미친 짓이다"라고 공동 창업자 Alex Whedon은 말한다.

Subquadratic은 SubQ가 어떤 단어에 집중할지 정확히 어떻게 선택하는지 밝히지 않는다. 영업 비밀 때문이다. 하지만 동적으로 즉시 계산된다고 주장한다. 비용 절감 효과는 놀랍다: Anthropic의 LLM Opus를 RULER 128 테스트로 실행하는 데 2,600달러가 드는 반면, SubQ는 8달러면 된다고 한다. 오타가 아니다.

OpenAI 구독을 취소하기 전에 몇 가지 주의사항이 있다: SubQ는 처음부터 훈련하는 대신 중국 오픈소스 모델 Qwen의 가중치를 재사용했는데, 이는 완전한 재창조라는 주장을 약화시킨다. 또한 모델은 여전히 대부분 대기자 명단에 있으며, 실제로 사용해 본 소수의 사용자만 있다. "공개된 증거만으로는 그들이 이차 주의 병목을 해결했다는 강한 주장을 정당화하지 못한다"고 독립 연구원 Will Depue는 말한다.

Subquadratic은 회의론에 대해 철학적인 태도를 취한다. "우리가 효율성의 새로운 시대를 열기를 바란다"고 CEO Justin Dangel은 말한다. "몇 년 안에 아무도 트랜스포머 위에 구축하지 않을 것이라고 생각한다." 그때까지 세상은 기다리며, 이것이 차세대 혁신인지 아니면 또 다른 자금이 넉넉한 수학 문제인지 궁금해할 것이다.