Het in Miami gevestigde AI-startup Subquadratic is uit stealth-modus gekomen met een bewering die zo gewaagd is dat een Transformer ervan zou blozen: ze hebben naar verluidt een wiskundige bottleneck gekraakt die grote taalmodellen al bijna een decennium gegijzeld houdt. Het nieuwe model van het bedrijf, SubQ, belooft sneller, goedkoper en energiezuiniger te zijn dan wat dan ook op de markt, terwijl het tot 12 keer zoveel tekst tegelijk verwerkt. Dat is alsof je Oorlog en Vrede in één teug leest in plaats van pagina voor pagina om te slaan.

Maar hier is het addertje onder het gras: toen Subquadratic vorige maand zijn grote aankondiging deed, waren de bewijzen opvallend afwezig. Scepsis was snel en meedogenloos. Dan McAteer, een AI-ingenieur, vatte de stemming op X samen: 'SubQ is ofwel de grootste doorbraak sinds de Transformer ... of het is AI Theranos.' Au.

Een maand later is het bedrijf begonnen met het leveren van die bewijzen, door resultaten te publiceren van onafhankelijke tests uitgevoerd door het externe bedrijf Appen. De cijfers zien er veelbelovend uit: SubQ scoorde 89,7% op LiveCodeBench, een codeertest, en was 56 keer sneller dan modellen die FlashAttention gebruikten, een eerdere sparse-attention-techniek. 'Dat was echt opwindend voor mij, het valideerde hun architectuur,' zegt Jeanine Sinanan-Singh, directeur van generatieve AI-onderzoek bij Appen.

Wat is dan het geheime ingrediënt? Subquadratic heeft dense attention - de kernoperatie van transformers, die elke token met elke andere token vermenigvuldigt in een kwadratische explosie van berekeningen - ingeruild voor sparse attention, die alleen geselecteerde paren vermenigvuldigt. Het idee is dat niet elke woordrelatie ertoe doet; je hoeft het eerste woord van De Grote Gatsby niet met het laatste woord te verbinden om het samen te vatten. 'Als je een boek leest, ga je niet naar het eerste en tweede woord, eerste en derde kijken - dat is krankzinnig,' zegt medeoprichter Alex Whedon.

Subquadratic wil niet precies zeggen hoe SubQ kiest op welke woorden het zich richt - omdat, weet je, bedrijfsgeheimen - maar beweert dat het dynamisch is en ter plekke wordt berekend. De kostenbesparingen zijn verbluffend: het draaien van Anthropic's LLM Opus door een test genaamd RULER 128 kost $2.600, terwijl SubQ het naar verluidt voor acht dollar doet. Dat is geen typfout.

Voordat je je OpenAI-abonnement opzegt, enkele kanttekeningen: SubQ hergebruikte gewichten van het Chinese open-source model Qwen in plaats van vanaf nul te trainen, wat de bewering van een volledige heruitvinding ondermijnt. En het model staat nog steeds grotendeels op een wachtlijst, met slechts een handvol gebruikers die daadwerkelijke praktijkervaring hebben. 'Het openbare bewijs rechtvaardigt nog niet de sterkere bewering dat ze de kwadratische aandachtsbottleneck hebben opgelost,' zegt onafhankelijk onderzoeker Will Depue.

Subquadratic is filosofisch over de scepsis. 'We hopen dat we een nieuw tijdperk van efficiëntie inluiden,' zegt CEO Justin Dangel. 'We denken niet dat iemand over een paar jaar nog op transformers zal bouwen.' Tot die tijd wacht de wereld - en vraagt zich af of dit de volgende grote doorbraak is of gewoon een goed gefinancierd wiskundeprobleem.