Miami-baserade AI-startupen Subquadratic har klivit ur smyg-läget med ett påstående så djärvt att det skulle få en Transformer att rodna: de har tydligen knäckt en matematisk flaskhals som har hållit stora språkmodeller som gisslan i nästan ett decennium. Företagets nya modell, SubQ, lovar att vara snabbare, billigare och mer energieffektiv än något annat på marknaden, samtidigt som den bearbetar upp till 12 gånger så mycket text på en gång. Det är som att läsa Krig och fred i ett svep istället för att bläddra sida för sida.

Men här är haken: när Subquadratic gjorde sitt storslagna tillkännagivande förra månaden, var kvittona påfallande frånvarande. Skepticismen var snabb och skoningslös. Dan McAteer, en AI-ingenjör, sammanfattade stämningen på X: 'SubQ är antingen det största genombrottet sedan Transformern ... eller så är det AI Theranos.' Aj.

En månad senare har företaget börjat visa upp kvitton, genom att publicera resultat från oberoende tester utförda av tredjepartsföretaget Appen. Siffrorna ser lovande ut: SubQ fick 89,7% på LiveCodeBench, ett kodningstest, och var 56 gånger snabbare än modeller som använder FlashAttention, en tidigare sparse-attention-teknik. 'Det var verkligen spännande för mig, det validerade deras arkitektur', säger Jeanine Sinanan-Singh, Appens direktör för generativ AI-forskning.

Så vad är hemligheten? Subquadratic övergav tät attention – kärnoperationen i transformatorer, som multiplicerar varje token med varje annan token i en kvadratisk explosion av beräkningar – till förmån för gles attention, som bara multiplicerar utvalda par. Tanken är att inte alla ordrelationer är viktiga; du behöver inte koppla första ordet i The Great Gatsby till det sista bara för att sammanfatta det. 'Om du läser en bok, tittar du inte på första och andra ordet, första och tredje – det är vansinnigt', säger medgrundaren Alex Whedon.

Subquadratic vill inte säga exakt hur SubQ väljer vilka ord att fokusera på – för, ni vet, affärshemligheter – men påstår att det är dynamiskt och beräknas i farten. Kostnadsbesparingarna är svindlande: att köra Anthropics LLM Opus genom ett test som heter RULER 128 kostar 2 600 dollar, medan SubQ påstås göra det för åtta dollar. Det är inget stavfel.

Innan du slänger din OpenAI-prenumeration, några varningar: SubQ återanvände vikter från den kinesiska open source-modellen Qwen istället för att träna från grunden, vilket undergräver påståendet om en fullständig nyskapelse. Och modellen är fortfarande mestadels bakom en väntelista, med bara en handfull användare som har faktisk praktisk erfarenhet. 'De offentliga bevisen rättfärdigar ännu inte det starkare påståendet att de har löst det kvadratiska attention-flaskhalsen', säger oberoende forskaren Will Depue.

Subquadratic är för sin del filosofisk inför skepticismen. 'Vi hoppas att vi inleder en ny era av effektivitet', säger VD Justin Dangel. 'Vi tror inte att någon kommer att bygga på transformatorer om några år.' Tills dess väntar världen – och undrar om detta är nästa stora grej eller bara ett välfinansierat matematikproblem.