Startup behauptet, LLMs Matheproblem gelöst zu haben – Skeptiker sagen: „Zeigt her die Benchmarks“

Das in Miami ansässige KI-Startup Subquadratic hat sich aus dem Stealth-Modus gewagt mit einer Behauptung, die selbst einen Transformer erröten lassen würde: Angeblich haben sie einen mathematischen Engpass geknackt, der große Sprachmodelle seit fast einem Jahrzehnt in Geiselhaft hält. Das neue Modell des Unternehmens, SubQ, verspricht, schneller, billiger und energieeffizienter zu sein als alles andere auf dem Markt, während es bis zu 12-mal so viel Text auf einmal verarbeitet. Das ist, als würde man „Krieg und Frieden“ in einem Zug lesen, anstatt Seite für Seite umzublättern.

Aber hier ist der Haken: Als Subquadratic letzten Monat seine große Ankündigung machte, waren die Belege auffällig abwesend. Die Skepsis war schnell und gnadenlos. Dan McAteer, ein KI-Ingenieur, fasste die Stimmung auf X zusammen: „SubQ ist entweder der größte Durchbruch seit dem Transformer … oder es ist KI-Theranos.“ Autsch.

Einen Monat später hat das Unternehmen begonnen, diese Belege zu liefern, und veröffentlichte Ergebnisse unabhängiger Tests, die von der Drittfirma Appen durchgeführt wurden. Die Zahlen sehen vielversprechend aus: SubQ erzielte 89,7 % bei LiveCodeBench, einem Codierungstest, und war 56-mal schneller als Modelle mit FlashAttention, einer früheren Sparse-Attention-Technik. „Das war wirklich aufregend für mich, es hat ihre Architektur validiert“, sagt Jeanine Sinanan-Singh, Appens Direktorin für generative KI-Forschung.

Also, was ist die geheime Zutat? Subquadratic hat dichte Aufmerksamkeit – die Kernoperation von Transformatoren, die jedes Token mit jedem anderen Token in einer quadratischen Explosion von Berechnungen multipliziert – zugunsten von spärlicher Aufmerksamkeit aufgegeben, die nur ausgewählte Paare multipliziert. Die Idee ist, dass nicht jede Wortbeziehung wichtig ist; man muss nicht das erste Wort von „Der große Gatsby“ mit dem letzten Wort verbinden, nur um es zusammenzufassen. „Wenn man ein Buch liest, schaut man nicht auf das erste und zweite Wort, erstes und drittes – das ist verrückt“, sagt Mitbegründer Alex Whedon.

Subquadratic will nicht genau sagen, wie SubQ auswählt, auf welche Wörter es sich konzentriert – weil, na ja, Geschäftsgeheimnisse –, behauptet aber, dass es dynamisch und spontan berechnet wird. Die Kosteneinsparungen sind atemberaubend: Das Ausführen von Anthropics LLM Opus durch einen Test namens RULER 128 kostet 2.600 Dollar, während SubQ es angeblich für acht Dollar erledigt. Das ist kein Tippfehler.

Bevor Sie Ihr OpenAI-Abonnement kündigen, einige Einschränkungen: SubQ hat Gewichte des chinesischen Open-Source-Modells Qwen wiederverwendet, anstatt von Grund auf zu trainieren, was die Behauptung einer vollständigen Neuerfindung untergräbt. Und das Modell befindet sich noch größtenteils hinter einer Warteliste, nur eine Handvoll Benutzer haben praktische Erfahrung. „Die öffentlichen Beweise rechtfertigen noch nicht die stärkere Behauptung, dass sie den quadratischen Aufmerksamkeitsengpass gelöst haben“, sagt der unabhängige Forscher Will Depue.

Subquadratic seinerseits steht der Skepsis philosophisch gegenüber. „Wir hoffen, dass wir ein neues Zeitalter der Effizienz einläuten“, sagt CEO Justin Dangel. „Wir glauben nicht, dass in ein paar Jahren noch jemand auf Transformatoren aufbauen wird.“ Bis dahin wartet die Welt – und fragt sich, ob dies die nächste große Sache oder nur ein weiteres gut finanziertes Matheproblem ist.