La startup AI di Miami Subquadratic è uscita dalla modalità stealth con un'affermazione così audace da far arrossire un Transformer: sostengono di aver risolto un collo di bottiglia matematico che tiene in ostaggio i modelli linguistici di grandi dimensioni da quasi un decennio. Il nuovo modello dell'azienda, SubQ, promette di essere più veloce, più economico e più efficiente dal punto di vista energetico di qualsiasi altra cosa sul mercato, elaborando fino a 12 volte più testo contemporaneamente. È come leggere Guerra e pace in un sorso invece di sfogliare le pagine una per una.

Ma ecco il problema: quando Subquadratic ha fatto il suo grande annuncio il mese scorso, le ricevute erano notevolmente assenti. Lo scetticismo è stato rapido e spietato. Dan McAteer, un ingegnere AI, ha riassunto l'atmosfera su X: "SubQ è o la più grande svolta dai tempi del Transformer... o è la Theranos dell'AI." Ahi.

Un mese dopo, l'azienda ha iniziato a portare quelle ricevute, pubblicando i risultati di test indipendenti eseguiti dalla società terza Appen. I numeri sembrano promettenti: SubQ ha ottenuto l'89,7% su LiveCodeBench, un test di codifica, ed è stato 56 volte più veloce dei modelli che utilizzano FlashAttention, una precedente tecnica di attenzione sparsa. "È stato davvero entusiasmante per me, ha convalidato la loro architettura", afferma Jeanine Sinanan-Singh, direttrice della ricerca AI generativa di Appen.

Allora qual è la salsa segreta? Subquadratic ha abbandonato l'attenzione densa - l'operazione principale dei transformer, che moltiplica ogni token con ogni altro token in un'esplosione quadratica di calcolo - a favore dell'attenzione sparsa, che moltiplica solo coppie selezionate. L'idea è che non tutte le relazioni tra parole contano; non è necessario collegare la prima parola de Il grande Gatsby all'ultima solo per riassumerlo. "Se stai leggendo un libro, non guarderai la prima e la seconda parola, la prima e la terza - è pazzesco", afferma il co-fondatore Alex Whedon.

Subquadratic non dirà esattamente come SubQ sceglie su quali parole concentrarsi - perché, si sa, segreti commerciali - ma sostiene che sia dinamico e calcolato al volo. I risparmi sui costi sono sorprendenti: eseguire il LLM Opus di Anthropic attraverso un test chiamato RULER 128 costa $2.600, mentre SubQ presumibilmente lo fa per otto dollari. Non è un errore di battitura.

Prima di buttare via il tuo abbonamento OpenAI, alcune avvertenze: SubQ ha riutilizzato i pesi del modello open source cinese Qwen invece di addestrarsi da zero, il che indebolisce l'affermazione di una reinvenzione completa. E il modello è ancora per lo più dietro una lista d'attesa, con solo una manciata di utenti che hanno esperienza pratica. "Le prove pubbliche non giustificano ancora l'affermazione più forte di aver risolto il collo di bottiglia dell'attenzione quadratica", afferma il ricercatore indipendente Will Depue.

Subquadratic, da parte sua, è filosofica sullo scetticismo. "Speriamo di dare il via a una nuova era di efficienza", afferma il CEO Justin Dangel. "Non pensiamo che qualcuno costruirà ancora sui transformer tra qualche anno." Fino ad allora, il mondo aspetta - e si chiede se questa sia la prossima grande cosa o solo un altro problema matematico ben finanziato.