Startup AI Subquadratic z Miami wyszedł z trybu stealth z twierdzeniem tak odważnym, że Transformer by się zarumienił: rzekomo złamali matematyczne wąskie gardło, które trzymało duże modele językowe w szachu przez prawie dekadę. Nowy model firmy, SubQ, obiecuje być szybszy, tańszy i bardziej energooszczędny niż cokolwiek innego na rynku, przetwarzając jednocześnie do 12 razy więcej tekstu. To jak czytanie „Wojny i pokoju” jednym haustem zamiast przewracania stron po kolei.

Ale jest haczyk: kiedy Subquadratic ogłosił swoje wielkie odkrycie w zeszłym miesiącu, dowody były podejrzanie nieobecne. Sceptycyzm był szybki i bezlitosny. Dan McAteer, inżynier AI, podsumował nastrój na X: „SubQ to albo największy przełom od czasów Transformera… albo AI-owska Theranos”. Ałć.

Miesiąc później firma zaczęła przedstawiać dowody, publikując wyniki niezależnych testów przeprowadzonych przez zewnętrzną firmę Appen. Liczby wyglądają obiecująco: SubQ uzyskał 89,7% w teście kodowania LiveCodeBench i był 56 razy szybszy niż modele używające FlashAttention, poprzedniej techniki rzadkiej uwagi. „To było dla mnie naprawdę ekscytujące, potwierdziło ich architekturę” – mówi Jeanine Sinanan-Singh, dyrektor ds. badań generatywnego AI w Appen.

Więc jaki jest sekretny sos? Subquadratic porzucił gęstą uwagę – podstawową operację transformerów, która mnoży każdy token z każdym innym w kwadratowej eksplozji obliczeń – na rzecz rzadkiej uwagi, która mnoży tylko wybrane pary. Chodzi o to, że nie każda relacja między słowami ma znaczenie; nie musisz łączyć pierwszego słowa „Wielkiego Gatsby’ego” z ostatnim, żeby go streścić. „Jeśli czytasz książkę, nie patrzysz na pierwsze i drugie słowo, pierwsze i trzecie – to szaleństwo” – mówi współzałożyciel Alex Whedon.

Subquadratic nie zdradza dokładnie, jak SubQ wybiera, na których słowach się skupić – bo, wiecie, tajemnice handlowe – ale twierdzi, że jest to dynamiczne i obliczane na bieżąco. Oszczędności są oszałamiające: uruchomienie LLM-a Opus od Anthropic w teście RULER 128 kosztuje 2600 dolarów, podczas gdy SubQ rzekomo robi to za osiem dolców. To nie pomyłka.

Zanim wyrzucisz swoją subskrypcję OpenAI, kilka zastrzeżeń: SubQ użył ponownie wag z chińskiego modelu open-source Qwen zamiast trenować od zera, co podważa twierdzenie o pełnym wynalazku. A model wciąż jest głównie za listą oczekujących, tylko garstka użytkowników miała praktyczne doświadczenie. „Publiczne dowody nie uzasadniają jeszcze silniejszego twierdzenia, że rozwiązali kwadratowe wąskie gardło uwagi” – mówi niezależny badacz Will Depue.

Subquadratic z kolei filozoficznie podchodzi do sceptycyzmu. „Mamy nadzieję, że zapoczątkujemy nową erę wydajności” – mówi CEO Justin Dangel. „Nie sądzimy, żeby ktokolwiek budował na transformerach za kilka lat”. Do tego czasu świat czeka – i zastanawia się, czy to kolejna wielka rzecz, czy tylko kolejny dobrze finansowany problem matematyczny.