Das Rennen um schnellere KI-Inferenz ist eröffnet, und die Märkte begrüßten Cerebras und seine maßgeschneiderten Chips bei seinem Börsengang im Mai herzlich. Doch das französische Startup Kog wettet darauf, dass aus herkömmlichen GPUs noch viel mehr Leistung herausgeholt werden kann.

Das Startup schaffte es im Mai auf die Titelseite von Hacker News mit einer Technologievorschau, die beweisen sollte, dass „extrem schnelle Einzelanfragen-Dekodierung auf den Standard-Rechenzentrums-GPUs möglich ist, die Unternehmen bereits besitzen“ – wie die AMD MI300X und NVIDIA H200 GPUs, die es für seine Demo verwendete.

Einige waren enttäuscht zu hören, dass dies nicht für GPUs in unseren Laptops galt, aber andere sahen das Potenzial. Da Inferenzgeschwindigkeit und -kosten nun ein kritischer Engpass sind, zog Kogs Versprechen, neue Fähigkeiten auf vorhandener Hardware durch Softwareoptimierung zu erschließen, mehr als nur Schaulustige an. „Wir hatten 200 konkrete Geschäftskontakte“, sagte CEO Gaël Delalleau gegenüber TechCrunch.

Basierend auf frühem Feedback erwartet der Solo-Gründer, dass Softwareentwicklung der erste Anwendungsfall sein wird. Erfahrene Claude-Code-Nutzer wissen genau, dass sie manchmal Stunden auf Ergebnisse warten müssen. Anthropic selbst versteht, dass Geschwindigkeit Geld wert ist, und verlangt einen Preisaufschlag für Claudes Fast Mode.

Kog hofft, Kunden anzusprechen, die von diesen Verzögerungen abgeschreckt werden, meist weil sie für berufliche Aufgaben auf KI-Workflows angewiesen sind. Aber das Startup hat auch Design-Partner, die es Benutzern ermöglichen, Spiele und Apps mit einem Prompt zu generieren, und für die ein schnelleres Ergebnis dank der Kog Inference Engine (KIE) mehr Umsatz bedeuten würde, sagte Delalleau.

Das Unternehmen erkennt, dass dieser Markt noch nicht ganz ausgereift ist. Während es die Nachfrage beobachtete, lernte Kog, dass seine potenziellen Kunden nicht bereit sind, kleine Modelle feinzutunen. „Und deshalb konzentrieren wir uns seit dem Start vollständig darauf, die Entwicklung größerer Modelle zu beschleunigen, um der Nachfrage gerecht zu werden, die wir gesehen haben.“

Dies lässt Kog einen großen Sprung machen müssen, um sein Versprechen von „30x schnellerer LLM-Inferenz“ zu erfüllen. Seine Demo zeigte beeindruckende 3.000 Tokens pro Sekunde (TPS) pro Anfrage – allerdings mit einem speziell entwickelten kleinen Modell mit nur etwa 2 Milliarden Parametern, dem jetzt als Open Source verfügbaren Laneformer 2B.

Skeptikern widersprechend ist Delalleau zuversichtlich, dass derselbe Ansatz auch bei LLMs gut funktionieren kann, deren Größe eine Herausforderung für Inferenzchips darstellen kann. „GPUs haben eine glänzende Zukunft“, sagte er. Für Kogs CEO ist die Idee, dass sie nicht für die Dekodierung geeignet sind, zu einem Missverständnis geworden; neuere GPUs haben immer mehr Speicherbandbreite, die nur darauf wartet, freigeschaltet zu werden.

Kog ist nicht allein mit der Idee, dass Softwareoptimierung GPUs dazu bringen kann, mehr zu tun, als auf der Verpackung steht. ZML, ebenfalls aus Frankreich, veröffentlichte hardware-agnostische Software, die Nvidias CUDA umgeht, um schnelle Inferenz auf konkurrierenden Chips zu unterstützen. Aber Delalleau sagte, Kog sei eher mit dem Stanford-Universitätslabor Hazy Research vergleichbar, mit einem noch tieferen Fokus auf GPU-Beschleunigung.

Delalleau selbst ist kein Forscher, und sein erstes Startup, TechCrunch50 2009 Alumnus Stribe, hat nichts mit seinem neuen zu tun – abgesehen von seinem ehemaligen Mitgründer und heutigen VC Kamel Zeroual, dessen Firma Varsity VC Kogs Seed-Runde mit anführte. Aber der tiefe Fokus des Startups stammt aus seinem einzigartigen Hintergrund.

Nachdem er Festkörperphysik an der École Polytechnique in Frankreich studiert hatte, arbeitete er in der offensiven Cybersicherheit – auch bekannt als White-Hat-Hacking. Laut Delalleau prägte dies die Denkweise, die er jetzt seinem Team vermittelt. Auf der wissenschaftlichen Seite „gibt es diese Denkweise, die Gesetze der Physik und die Gesetze der GPU zu verstehen, um das Beste aus ihnen herauszuholen.“

Was das Hacking betrifft, sagte der vierfache Finalist des DEF CON CTF-Turniers, es habe ihn gelehrt, „Dinge auf sehr niedriger Ebene zu reverse-engineeren – bis hin zur Assemblersprache und Binärcode – um zu verstehen, wie es funktioniert, und zu versuchen, es für ein Ziel zu nutzen, für das es nicht unbedingt entwickelt wurde.“

Der Nachteil dieses Ansatzes ist, dass er sehr praktisch und zeitaufwendig ist. „Für jede neue GPU werden wir mehrere Wochen oder sogar Monate aufwenden, um wirklich in die Details einzutauchen und