AI-infrastrukturstartupen Infinity har samlat in 15 miljoner dollar till en värdering på 100 miljoner dollar, med stöd från Touring Capital, Principal VC och forskare från OpenAI och Anthropic. Företaget har som uppdrag att göra Nvidias järngrepp om AI-chipmarknaden lite mindre järnartat genom att bygga mjukvara som låter AI-modeller köras på vilket chip som helst, inte bara Nvidias.

Nvidias dominans handlar inte bara om dess kraftfulla GPU:er; det handlar också om CUDA, mjukvarulagret som förvandlar grafikprocessorer till allmänna beräkningsarbetshästar. Stora AI-ramverk som PyTorch och TensorFlow är byggda på CUDA, vilket innebär att appar skrivna i Python automatiskt använder Nvidia-chips som standard. De flesta startups saknar resurser för att skriva sin egen lågnivå-kernelmjukvara för att porta appar till alternativa chip. Infinity siktar på att bli CUDA-alternativet, genom att skapa ett universellt inferensbibliotek som fungerar över SRAM, GPU:er, telefonchip och systoliska arrayer. Det är en del av en våg av startups som nöter ner Nvidias marknadsandel, en produkt i taget.

Grundat förra året av Jeremy Nixon, tidigare forskare på Google Brain och skapare av hackernätverket AGI House, föddes Infinity ur Nixons besatthet av ”automatiserad uppfinning”. Han uppfann tidigare en maskininlärningsalgoritm som heter Omega, som automatiskt genererade och utvärderade nya algoritmer i en återkopplingsslinga. Den framgången ledde honom till hårdvara, där han trodde att automatiserade system kunde generera den lågnivåkod som behövs för att köra chip mer effektivt.

Infinitys AI-forskningsagent, Ignition, skriver lågnivåkod för AI-inferens på icke-Nvidia-chip. Den testar, felsöker, mäter prestanda och skriver om kod efter behov, samtidigt som den kontinuerligt lär sig och anpassar sig till olika chiparkitekturer. Resultatet, hävdar Nixon, är en CUDA-nivå mjukvarustack. Kunderna inkluderar D-Matrix, en AI-chiptillverkare och Nvidia-utmanare, och Infinity för samtal med andra stora chip- och molnföretag.

Människor ger fortfarande högnivåriktning, men Ignition sköter det tunga arbetet. I en fallstudie reducerade agenten vad som kunde ha varit en flerårig process till timmar eller dagar. Infinity tar inte ut en upfront licensavgift; istället tar de en andel av prestandavinster och kostnadsbesparingar, mätt i tokens per sekund. Företaget har för närvarande 26 anställda som spänner över design, drift och teknik.