Gdzieś tam, w lecie 2017 roku, badacze z Google opublikowali pracę pod tytułem „Uwaga to wszystko, czego potrzebujesz”, wprowadzając transformator – sieć neuronową, która okazała się spektakularnie dobra w przetwarzaniu długich sekwencji tekstu. Dziewięć lat później transformatory są silnikiem w każdym większym modelu językowym (LLM). „Cała branża AI jest zbudowana na transformatorach” – mówi Justin Dangel, CEO startupu AI Subquadratic, nazywając je jednym z najważniejszych wynalazków w historii informatyki. Ale nawet największe hity po pewnym czasie zaczynają się nudzić.

Transformatory pokazują swój wiek. Ostatnie postępy w LLM – jak modele rozumujące, które notują sobie notatki i obsługują ogromne wejścia – nie są zgrabnymi rozszerzeniami podstawowej technologii; to łatki z taśmy klejącej na fundamentalne wady. Dlatego rosnąca grupa naukowców i inżynierów zadaje pytanie: co dalej? LLM-y nigdzie nie znikną, ale sposób ich budowy jest do wzięcia. MIT Technology Review ochrzciło tę przyszłą generację „LLM+”, a fala startupów pędzi, mając nadzieję przesunąć granice tej technologii z gorączki złota. Niektóre upadną, ale mają wszystko do wygrania i znacznie mniej do stracenia niż dzisiejsi liderzy.

Najpierw problem. Transformatory opierają się na gęstej uwadze, która porównuje każde słowo (lub token) z każdym innym przez mnożenie. Świetnie oddaje znaczenie, ale obliczenia skalują się fatalnie: dokument z 10 000 słów może wymagać 50 milionów mnożeń. Dlatego LLM-y pochłaniają tyle energii. Prezydent OpenAI, Greg Brockman, mówi, że firma wyda w tym roku 50 miliardów dolarów na obliczenia, a Międzynarodowa Agencja Energetyczna przewiduje, że zużycie energii przez centra danych podwoi się do 2030 roku. Transformatory mają też problem z dużymi oknami kontekstowymi – śledzeniem biblioteki, bazy kodu czy wyników agentów – a modele rozumujące dodają więcej danych do przetwarzania. W miarę jak LLM-y rosną, transformatory stają się wąskim gardłem.

Oto cztery szalone pomysły na naprawę tego.

**Pomysł 1: Rzadka uwaga w stylu Subquadratic**

Subquadratic z Miami twierdzi, że rozpracował rzadką uwagę – obliczanie tylko niektórych par słów zamiast wszystkich – bez utraty znaczenia. Jego model, SubQ, rzekomo dorównuje najlepszym LLM-om w zadaniach wyszukiwania i kodowania. Sceptycy pozostają, ale tysiące zapisały się na listę oczekujących. Firma mówi, że na bieżąco ustala, które słowa są ważne, i planuje wkrótce szerokie udostępnienie.

**Pomysł 2: Retencja mocy od Manifest AI**

Manifest AI z San Francisco rezygnuje z uwagi na rzecz „retencji mocy”, która przechowuje tylko najbardziej istotne informacje i zapewnia płynne podsumowanie okna kontekstowego, odrzucając mniej istotne fragmenty w miarę napływu nowych danych. Koncepcja ma dziesięć lat, ale Manifest twierdzi, że w końcu jest konkurencyjna z transformatorami. Przekształcił open-source'owy LLM do kodowania StarCoder w PowerCoder i wypuścił Brumby, który – jak mówi – dorównuje Alibaba Qwen. Współzałożyciel Carles Gelada widzi zastosowania od analizy wielogodzinnych filmów po agentów, którzy pozostają na zadaniu przez tygodnie.

**Pomysł 3: Ciekłe sieci neuronowe od Liquid AI**

Odgałęzienie MIT, Liquid AI, łączy transformatory z ciekłymi sieciami neuronowymi – inspirowanymi mózgami robaków – tworząc „ciekłe modele fundamentowe” (LFM). Są one znacznie mniejsze i bardziej energooszczędne, działają na Raspberry Pi za 50 dolarów. Są darmowe dla organizacji o rocznych przychodach poniżej 10 milionów dolarów i zdobyły prawie 34 miliony pobrań – mówi CEO Ramin Hasani. Modele dorównują rywalom cztery razy większym, w tym wersjom Qwen i Google Gemma. Sekretny sos: AI, które projektuje modele, decydując się na hybrydę 20% transformatorów i 80% ciekłych sieci. Hasani zachwyca się, że mózg działa na 20 watach: „Możemy być znacznie bardziej innowacyjni”.

**Pomysł 4: Dyfuzja od Inception**

Inception z Palo Alto generuje całe zdania naraz za pomocą dyfuzji – technologii stojącej za modelami obrazów i wideo. Dyfuzyjne LLM-y, jak Mercury 2, twierdzą, że dorównują wydajnością GPT-4, ale są 10 razy szybsze. Współzałożyciel Stefano Ermon, badacz ze Stanforda, opracował matematykę, która sprawia, że dyfuzja działa z tekstem.