Redan sommaren 2017 släppte Google-forskare en artikel med titeln ”Attention Is All You Need”, som introducerade transformern – ett neuralt nätverk som visade sig vara spektakulärt bra på att tugga igenom långa textsekvenser. Nio år senare är transformern motorn i varje större språkmodell (LLM). ”Hela AI-branschen är byggd på transformern”, säger Justin Dangel, vd för AI-startupen Subquadratic, och kallar den en av de viktigaste innovationerna i datavetenskapens historia. Men även de största hitsen börjar kännas trötta efter ett tag.

Transformers börjar visa sin ålder. Nya framsteg inom LLM – som resonerande modeller som skriver anteckningar till sig själva och hanterar massiva indata – är inte snygga förlängningar av kärntekniken; de är silvertejp-lappar över grundläggande brister. Så en växande skara forskare och ingenjörer frågar: vad kommer härnäst? LLM:er försvinner inte, men hur de byggs är upp för diskussion. MIT Technology Review har döpt denna framtida generation till ”LLM+”, och en våg av startups stormar in i hopp om att flytta gränserna för denna boomtown-teknik. Vissa kommer att misslyckas, men de har allt att spela för och mycket mindre att förlora än dagens ledare.

Först problemet. Transformers förlitar sig på tät uppmärksamhet, som jämför varje ord (eller token) med varje annat ord via multiplikation. Det fångar betydelse briljant, men beräkningen skalar hemskt: ett dokument på 10 000 ord kan kräva 50 miljoner multiplikationer. Det är därför LLM:er slukar så mycket ström. OpenAIs president Greg Brockman säger att företaget kommer att spendera 50 miljarder dollar på datoranvändning i år, och International Energy Agency förutspår att elanvändningen i datacenter kommer att fördubblas till 2030. Transformers kämpar också med stora kontextfönster – att hålla reda på ett bibliotek, en kodbas eller agentutdata – och resonerande modeller lägger till mer data att jonglera. När LLM:er växer blir transformern en flaskhals.

Här är fyra vilda idéer för att fixa det.

**Idé 1: Sparse uppmärksamhet, Subquadratic-stil**

Miami-baserade Subquadratic hävdar att de har knäckt sparse uppmärksamhet – att beräkna endast vissa ordparningar istället för alla – utan att förlora betydelse. Deras modell, SubQ, påstås rivalisera topp-LLM:er i sök- och kodningsuppgifter. Skeptiker finns kvar, men tusentals har gått med i väntelistan. Företaget säger att de i farten räknar ut vilka ord som är viktiga, och planerar en bred release snart.

**Idé 2: Power retention från Manifest AI**

San Francisco-baserade Manifest AI överger uppmärksamhet för ”power retention”, som lagrar endast den mest relevanta informationen och ger en rullande sammanfattning av kontextfönstret, och släpper mindre relevanta bitar när ny data kommer. Konceptet är ett decennium gammalt, men Manifest hävdar att det äntligen är konkurrenskraftigt med transformern. De förvandlade den öppna kodnings-LLM:en StarCoder till PowerCoder och släppte Brumby, som de säger rivaliserar Alibabas Qwen. Medgrundaren Carles Gelada ser tillämpningar från att analysera timslånga videor till agenter som håller sig på uppgiften i veckor.

**Idé 3: Liquid neural networks från Liquid AI**

MIT-avknoppningen Liquid AI parar ihop transformern med liquid neural networks – inspirerade av maskhjärnor – för att skapa ”liquid foundation models” (LFM:er). Dessa är mycket mindre och mer energieffektiva, och körs på en $50 Raspberry Pi. De är gratis för organisationer med mindre än 10 miljoner dollar i årlig omsättning, och har lockat nästan 34 miljoner nedladdningar, säger vd:n Ramin Hasani. Modellerna matchar rivaler som är fyra gånger större, inklusive versioner av Qwen och Googles Gemma. Hemligheten: en AI som designar modellerna, och landar i en hybrid av 20% transformernät och 80% liquid-nätverk. Hasani förundras över att hjärnan kör på 20 watt: ”Vi kan bli mycket mer innovativa.”

**Idé 4: Diffusion från Inception**

Inception, baserat i Palo Alto, genererar hela meningar på en gång med diffusion – tekniken bakom bild- och videomodeller. Diffusion-LLM:er, som Mercury 2, hävdar att de matchar GPT-4:s prestanda men är 10 gånger snabbare. Medgrundaren Stefano Ermon, forskare vid Stanford, räknade ut matematiken för att få diffusion att fungera med text i