La course à l'inférence IA plus rapide est lancée, et les marchés ont réservé un accueil chaleureux à Cerebras et à ses puces sur mesure lors de ses débuts en bourse en mai. Mais la startup française Kog parie qu'il y a beaucoup plus de puissance à extraire des GPU conventionnels.

La startup a fait la une de Hacker News en mai avec un aperçu technique visant à prouver qu'un « décodage de requêtes extrêmement rapide est possible sur les GPU de centre de données standard que les entreprises possèdent déjà » - tels que les AMD MI300X et NVIDIA H200 utilisés pour sa démo.

Certains ont été déçus d'apprendre que cela ne s'étendait pas aux GPU de nos ordinateurs portables, mais d'autres ont vu le potentiel. Avec la vitesse et les coûts d'inférence devenant un goulot d'étranglement critique, la promesse de Kog de débloquer de nouvelles capacités sur du matériel existant grâce à l'optimisation logicielle a attiré plus que des curieux. « Nous avons eu 200 pistes commerciales tangibles », a déclaré le PDG Gaël Delalleau à TechCrunch.

Sur la base des retours précoces, le fondateur solo s'attend à ce que l'ingénierie logicielle soit le premier cas d'utilisation. Les utilisateurs chevronnés de Claude Code savent bien qu'ils doivent parfois attendre des heures pour obtenir des résultats. Anthropic elle-même comprend que la vitesse vaut de l'argent et facture un multiple de prix pour le mode rapide de Claude.

Kog espère cibler les clients rebutés par ces délais, généralement parce qu'ils s'appuient sur des flux de travail IA pour des tâches professionnelles. Mais la startup a également des partenaires de conception qui permettent aux utilisateurs de générer des jeux et des applications avec une invite, et pour qui un résultat plus rapide grâce au Kog Inference Engine (KIE) signifierait plus de revenus, a déclaré Delalleau.

L'entreprise réalise que ce marché n'est pas encore tout à fait mature. Tout en observant la demande, Kog a appris que ses clients potentiels ne sont pas prêts à affiner de petits modèles. « Et c'est pourquoi depuis le lancement, nous nous sommes entièrement concentrés sur l'accélération du développement de modèles plus grands pour répondre à la demande que nous avons vue. »

Cela laisse Kog avec un énorme bond à faire pour tenir sa promesse d'« inférence LLM 30 fois plus rapide ». Sa démo a montré un impressionnant 3 000 tokens par seconde (TPS) par requête - mais avec un petit modèle sur mesure de seulement 2 milliards de paramètres, le Laneformer 2B désormais open source.

Contredisant les sceptiques, Delalleau est confiant que la même approche peut fonctionner tout aussi bien avec les LLM, dont la taille peut être un défi pour les puces d'inférence. « Les GPU ont un avenir radieux », a-t-il déclaré. Pour le PDG de Kog, l'idée qu'ils ne sont pas adaptés au décodage est devenue une idée fausse ; les GPU plus récents ont de plus en plus de bande passante mémoire qui ne demande qu'à être libérée.

Kog n'est pas seul à penser que l'optimisation logicielle peut aider les GPU à faire plus que ce qui est écrit sur la boîte. ZML, également française, a publié un logiciel indépendant du matériel qui contourne CUDA de Nvidia pour prendre en charge une inférence rapide sur des puces concurrentes. Mais Delalleau a déclaré que Kog est plus proche du laboratoire Hazy Research de l'Université Stanford, avec un accent encore plus profond sur l'accélération GPU.

Delalleau lui-même n'est pas chercheur, et sa première startup, Stribe, lauréate du TechCrunch50 2009, n'a rien à voir avec sa nouvelle - si ce n'est son ancien cofondateur devenu VC, Kamel Zeroual, dont le fonds Varsity VC a co-dirigé le tour de table de Kog. Mais l'accent profond de la startup découle de son parcours unique.

Ayant étudié la physique des solides à l'École Polytechnique française, il a ensuite travaillé dans la cybersécurité offensive - également connue sous le nom de piratage éthique. Selon Delalleau, cela a façonné l'état d'esprit qu'il encourage maintenant son équipe à adopter. Côté science, « il y a cet état d'esprit de comprendre les lois de la physique, et les lois du GPU afin d'en tirer le meilleur parti. »

Quant au piratage, le quadruple finaliste du tournoi CTF de DEF CON a déclaré que cela lui a appris « à rétro-ingénier les choses à un niveau très bas - jusqu'au langage assembleur et au code binaire - pour comprendre comment cela fonctionne, et essayer de l'utiliser pour atteindre un objectif pour lequel il n'était pas nécessairement conçu. »

L'inconvénient de cette approche est qu'elle est très pratique et chronophage. « Pour chaque nouveau GPU, nous consacrerons plusieurs semaines, voire des mois, à creuser les détails et à