Startups rasen darum, Transformatoren zu ersetzen – die Technologie, die LLMs möglich machte (und furchtbar teuer)

Im Sommer 2017 veröffentlichten Google-Forscher ein Papier mit dem Titel „Attention Is All You Need“ und führten den Transformer ein – ein neuronales Netzwerk, das sich als spektakulär gut darin erwies, lange Textsequenzen zu verarbeiten. Neun Jahre später sind Transformatoren der Motor in jedem großen Sprachmodell (LLM). „Die gesamte KI-Industrie basiert auf Transformatoren“, sagt Justin Dangel, CEO des KI-Startups Subquadratic, und nennt sie eine der wichtigsten Innovationen in der Geschichte der Informatik. Aber selbst die größten Hits werden mit der Zeit müde.

Transformatoren zeigen ihr Alter. Jüngste LLM-Fortschritte – wie Reasoning-Modelle, die sich Notizen machen und massive Eingaben verarbeiten – sind keine sauberen Erweiterungen der Kerntechnologie; sie sind Klebeband-Patches über grundlegende Fehler. Eine wachsende Gruppe von Wissenschaftlern und Ingenieuren fragt sich also: Was kommt als Nächstes? LLMs werden nicht verschwinden, aber wie sie gebaut werden, ist offen. MIT Technology Review hat diese zukünftige Generation „LLMs+“ getauft, und eine Welle von Startups stürmt heran, in der Hoffnung, die Grenzen dieser Boomtown-Technologie zu erweitern. Einige werden scheitern, aber sie haben alles zu gewinnen und weit weniger zu verlieren als die heutigen Spitzenreiter.

Zunächst das Problem. Transformatoren basieren auf dichter Aufmerksamkeit, die jedes Wort (oder Token) mit jedem anderen Wort durch Multiplikation vergleicht. Das erfasst Bedeutung brillant, aber die Rechenleistung skaliert schrecklich: Ein Dokument mit 10.000 Wörtern könnte 50 Millionen Multiplikationen erfordern. Deshalb schlucken LLMs so viel Strom. OpenAIs Präsident Greg Brockman sagt, das Unternehmen werde dieses Jahr 50 Milliarden Dollar für Rechenleistung ausgeben, und die Internationale Energieagentur prognostiziert, dass sich der Stromverbrauch von Rechenzentren bis 2030 verdoppeln wird. Transformatoren kämpfen auch mit großen Kontextfenstern – etwa um eine Bibliothek, eine Codebasis oder Agentenausgaben im Blick zu behalten – und Reasoning-Modelle fügen mehr Daten hinzu, die jongliert werden müssen. Während LLMs wachsen, werden Transformatoren zum Engpass.

Hier sind vier wilde Ideen, um das zu beheben.

**Idee 1: Sparse Attention, Subquadratic-Stil**

Das in Miami ansässige Unternehmen Subquadratic behauptet, sparse Attention geknackt zu haben – nur einige Wortpaarungen zu berechnen, statt aller – ohne die Bedeutung zu verlieren. Sein Modell SubQ soll laut eigenen Angaben mit den besten LLMs bei Such- und Codierungsaufgaben mithalten. Skeptiker bleiben, aber Tausende haben sich auf die Warteliste gesetzt. Das Unternehmen sagt, es finde spontan heraus, welche Wörter wichtig sind, und plant bald eine breite Veröffentlichung.

**Idee 2: Power Retention von Manifest AI**

Das in San Francisco ansässige Unternehmen Manifest AI verzichtet auf Attention und setzt auf „Power Retention“, das nur die relevantesten Informationen speichert und eine fortlaufende Zusammenfassung des Kontextfensters liefert, wobei weniger relevante Teile verworfen werden, wenn neue Daten eintreffen. Das Konzept ist ein Jahrzehnt alt, aber Manifest behauptet, es sei endlich konkurrenzfähig mit Transformatoren. Es verwandelte das Open-Source-Codierungs-LLM StarCoder in PowerCoder und veröffentlichte Brumby, das laut eigenen Angaben mit Alibabas Qwen konkurriert. Mitgründer Carles Gelada sieht Anwendungen von der Analyse stundenlanger Videos bis hin zu Agenten, die wochenlang auf Kurs bleiben.

**Idee 3: Liquid Neural Networks von Liquid AI**

Das MIT-Ausgründung Liquid AI kombiniert Transformatoren mit flüssigen neuronalen Netzen – inspiriert von Wurmgehirnen – um „flüssige Fundamentmodelle“ (LFMs) zu schaffen. Diese sind weitaus kleiner und energieeffizienter und laufen auf einem 50-Dollar-Raspberry-Pi. Sie sind kostenlos für Organisationen mit einem Jahresumsatz unter 10 Millionen Dollar und haben laut CEO Ramin Hasani fast 34 Millionen Downloads verzeichnet. Die Modelle erreichen die Leistung von Konkurrenten, die viermal so groß sind, einschließlich Versionen von Qwen und Googles Gemma. Das Geheimnis: Eine KI, die die Modelle entwirft und sich auf einen Hybrid aus 20 % Transformatoren und 80 % flüssigen Netzen einigt. Hasani staunt, dass das Gehirn mit 20 Watt läuft: „Wir können viel innovativer sein.“

**Idee 4: Diffusion von Inception**

Das in Palo Alto ansässige Unternehmen Inception erzeugt ganze Sätze auf einmal mittels Diffusion – der Technologie hinter Bild- und Videomodellen. Diffusions-LLMs wie Mercury 2 behaupten, die Leistung von GPT-4 zu erreichen, aber zehnmal schneller. Mitgründer Stefano Ermon, Stanford-Forscher, fand die Mathematik, um Diffusion mit Text zum Funktionieren zu bringen.