La corsa all'inferenza AI più veloce è in corso, e i mercati hanno dato un caloroso benvenuto a Cerebras e ai suoi chip dedicati nel suo debutto in borsa a maggio. Ma la startup francese Kog scommette che c'è molta più potenza da spremere dalle GPU convenzionali.

La startup è finita in prima pagina su Hacker News a maggio con un'anteprima tecnica volta a dimostrare che "la decodifica a richiesta singola estremamente veloce è possibile sulle GPU da datacenter standard che le aziende già possiedono" - come le AMD MI300X e NVIDIA H200 usate per la demo.

Alcuni sono rimasti delusi nello scoprire che questo non si estendeva alle GPU dei nostri laptop, ma altri hanno visto il potenziale. Con la velocità di inferenza e i costi che ora sono un collo di bottiglia critico, la promessa di Kog di sbloccare nuove capacità su hardware esistente con l'ottimizzazione del software ha attirato più di semplici curiosi. "Abbiamo avuto 200 contatti commerciali concreti", ha detto il CEO Gaël Delalleau a TechCrunch.

Sulla base dei primi feedback, il fondatore singolo si aspetta che l'ingegneria del software sia il primo caso d'uso. Gli utenti veterani di Claude Code sanno bene che a volte devono aspettare ore per ottenere risultati. La stessa Anthropic capisce che la velocità vale denaro, e fa pagare un multiplo di prezzo per la Modalità Veloce di Claude.

Kog spera di rivolgersi ai clienti scoraggiati da questi ritardi, di solito perché si affidano a flussi di lavoro AI per compiti professionali. Ma la startup ha anche partner di design che permettono agli utenti di generare giochi e app con un prompt, e per i quali un risultato più veloce grazie al Kog Inference Engine (KIE) significherebbe più entrate, ha detto Delalleau.

L'azienda si rende conto che questo mercato non è ancora del tutto maturo. Osservando la domanda, Kog ha imparato che i suoi potenziali clienti non sono pronti a mettere a punto modelli piccoli. "Ed è per questo che dal lancio, ci siamo concentrati interamente sull'accelerare lo sviluppo di modelli più grandi per soddisfare la domanda che abbiamo visto."

Questo lascia a Kog un salto enorme da fare per mantenere la promessa di "inferenza LLM 30 volte più veloce". La sua demo ha mostrato un impressionante 3.000 token al secondo (TPS) per richiesta - ma con un modello piccolo appositamente costruito con solo circa 2 miliardi di parametri, il Laneformer 2B ora open-source.

Contraddicendo gli scettici, Delalleau è fiducioso che lo stesso approccio possa funzionare altrettanto bene con gli LLM, la cui dimensione può essere una sfida per i chip di inferenza. "Le GPU hanno un futuro luminoso", ha detto. Per il CEO di Kog, l'idea che non siano adatte alla decodifica è diventata un'idea sbagliata; le GPU più recenti hanno sempre più larghezza di banda di memoria che chiede solo di essere sbloccata.

Kog non è sola nel pensare che l'ottimizzazione del software possa aiutare le GPU a fare più di quanto dice la scatola. Anche ZML, sempre dalla Francia, ha rilasciato un software agnostico all'hardware che bypassa CUDA di Nvidia per supportare l'inferenza veloce su chip concorrenti. Ma Delalleau ha detto che Kog è più simile al laboratorio Hazy Research dell'Università di Stanford, con un focus ancora più profondo sull'accelerazione delle GPU.

Delalleau stesso non è un ricercatore, e la sua prima startup, Stribe, alumna del TechCrunch50 2009, non ha nulla a che fare con la sua nuova - a parte il suo ex cofondatore diventato VC Kamel Zeroual, la cui società Varsity VC ha co-condotto il round seed di Kog. Ma il focus profondo della startup deriva dal suo background unico.

Avendo studiato fisica dello stato solido all'École Polytechnique francese, è passato a lavorare nella cybersecurity offensiva - nota anche come hacking white hat. Secondo Delalleau, questo ha plasmato la mentalità che ora incoraggia il suo team ad adottare. Sul lato scientifico, "c'è questa mentalità di capire le leggi della fisica, e le leggi della GPU per sfruttarle al meglio".

Quanto all'hacking, il quattro volte finalista al torneo CTF del DEF CON ha detto che gli ha insegnato "a fare reverse engineering a un livello molto basso - fino al linguaggio assembly e al codice binario - per capire come funziona, e cercare di usarlo per raggiungere un obiettivo per cui non era necessariamente progettato".

Lo svantaggio di questo approccio è che è molto pratico e richiede tempo. "Per ogni nuova GPU, dedicheremo diverse settimane o addirittura mesi, per approfondire i dettagli e"