Nell'estate del 2017, i ricercatori di Google pubblicarono un articolo intitolato "Attention Is All You Need", introducendo il transformer - una rete neurale che si rivelò spettacolarmente brava a digerire lunghe sequenze di testo. Nove anni dopo, i transformer sono il motore di ogni grande modello linguistico (LLM). "L'intera industria dell'IA è costruita sui transformer", afferma Justin Dangel, CEO della startup AI Subquadratic, definendoli una delle innovazioni più importanti nella storia dell'informatica. Ma anche i più grandi successi cominciano a stancare dopo un po'.

I transformer mostrano i loro anni. I recenti progressi degli LLM - come i modelli di ragionamento che scarabocchiano appunti per sé e gestiscono input massicci - non sono estensioni pulite della tecnologia di base; sono cerotti di nastro adesivo su difetti fondamentali. Così un gruppo crescente di scienziati e ingegneri si chiede: cosa c'è dopo? Gli LLM non andranno da nessuna parte, ma come vengono costruiti è in palio. MIT Technology Review ha soprannominato questa futura generazione "LLM+", e un'ondata di startup sta caricando, sperando di spingere i confini di questa tecnologia in piena espansione. Alcuni falliranno, ma hanno tutto da giocare e molto meno da perdere rispetto ai leader di oggi.

Prima il problema. I transformer si affidano all'attenzione densa, che confronta ogni parola (o token) con ogni altra parola tramite moltiplicazioni. Cattura il significato brillantemente, ma il calcolo scala in modo orribile: un documento di 10.000 parole potrebbe richiedere 50 milioni di moltiplicazioni. Ecco perché gli LLM succhiano così tanta energia. Il presidente di OpenAI, Greg Brockman, afferma che l'azienda spenderà 50 miliardi di dollari in calcolo quest'anno, e l'Agenzia Internazionale dell'Energia prevede che l'uso di elettricità dei data center raddoppierà entro il 2030. I transformer lottano anche con finestre di contesto ampie - tenere traccia di una libreria, un codebase o output di agenti - e i modelli di ragionamento aggiungono più dati da gestire. Man mano che gli LLM crescono, i transformer diventano un collo di bottiglia.

Ecco quattro idee folli per risolvere il problema.

**Idea 1: Attenzione sparsa, stile Subquadratic**

Subquadratic, con sede a Miami, sostiene di aver risolto l'attenzione sparsa - calcolando solo alcune coppie di parole invece di tutte - senza perdere significato. Il suo modello, SubQ, presumibilmente rivaleggia con i migliori LLM in compiti di ricerca e codifica. Gli scettici rimangono, ma migliaia si sono iscritti alla lista d'attesa. L'azienda dice che capisce al volo quali parole contano e prevede un rilascio ampio presto.

**Idea 2: Ritenzione di potenza da Manifest AI**

Manifest AI di San Francisco abbandona l'attenzione per la "ritenzione di potenza", che memorizza solo le informazioni più rilevanti e fornisce un riepilogo scorrevole della finestra di contesto, scartando i bit meno rilevanti man mano che arrivano nuovi dati. Il concetto ha un decennio, ma Manifest sostiene che finalmente è competitivo con i transformer. Ha trasformato il LLM di codifica open-source StarCoder in PowerCoder e ha rilasciato Brumby, che dice rivaleggia con Qwen di Alibaba. Il cofondatore Carles Gelada vede applicazioni che vanno dall'analisi di video di ore a agenti che restano sul compito per settimane.

**Idea 3: Reti neurali liquide da Liquid AI**

La spin-off del MIT Liquid AI abbina i transformer con reti neurali liquide - ispirate ai vermi - per creare "modelli fondativi liquidi" (LFM). Questi sono molto più piccoli ed efficienti energeticamente, funzionando su un Raspberry Pi da 50 dollari. Sono gratuiti per organizzazioni con meno di 10 milioni di dollari di fatturato annuo e hanno accumulato quasi 34 milioni di download, afferma il CEO Ramin Hasani. I modelli eguagliano rivali quattro volte più grandi, incluse versioni di Qwen e Gemma di Google. La salsa segreta: un'IA che progetta i modelli, optando per un ibrido di 20% transformer e 80% reti liquide. Hasani si meraviglia che il cervello funzioni con 20 watt: "Possiamo essere molto più innovativi."

**Idea 4: Diffusione da Inception**

Inception, con sede a Palo Alto, genera intere frasi in una volta usando la diffusione - la tecnologia dietro i modelli di immagini e video. Gli LLM a diffusione, come Mercury 2, affermano di eguagliare le prestazioni di GPT-4 ma 10 volte più veloci. Il cofondatore Stefano Ermon, ricercatore di Stanford, ha capito la matematica per far funzionare la diffusione con il testo in