La startup di infrastrutture AI Infinity ha raccolto 15 milioni di dollari a una valutazione di 100 milioni, con il supporto di Touring Capital, Principal VC e ricercatori di OpenAI e Anthropic. L'azienda ha la missione di rendere la morsa di Nvidia sul mercato dei chip AI un po' meno stretta, costruendo software che permetta ai modelli AI di funzionare su qualsiasi chip, non solo quelli di Nvidia.

Il dominio di Nvidia non riguarda solo le sue potenti GPU; riguarda anche CUDA, il layer software che trasforma i processori grafici in cavalli di battaglia per il calcolo generico. I principali framework AI come PyTorch e TensorFlow sono costruiti su CUDA, il che significa che le app scritte in Python predefiniscono automaticamente i chip Nvidia. La maggior parte delle startup non ha le risorse per scrivere il proprio software kernel di basso livello per portare le app su chip alternativi. Infinity mira a essere l'alternativa a CUDA, creando una libreria di inferenza universale che funzioni su SRAM, GPU, chip telefonici e Systolic Array. Fa parte di un'ondata di startup che erodono la quota di mercato di Nvidia, un prodotto alla volta.

Fondata l'anno scorso da Jeremy Nixon, ex ricercatore di Google Brain e creatore della rete hacker AGI House, Infinity è nata dall'ossessione di Nixon per l'"invenzione automatizzata". In precedenza ha inventato un algoritmo di machine learning chiamato Omega, che generava e valutava automaticamente nuovi algoritmi in un ciclo di feedback. Quel successo lo ha portato all'hardware, dove credeva che i sistemi automatizzati potessero generare il codice di basso livello necessario per far funzionare i chip in modo più efficace.

L'agente di ricerca AI di Infinity, Ignition, scrive codice di basso livello per l'inferenza AI su chip non Nvidia. Testa, esegue il debug, misura le prestazioni e riscrive il codice secondo necessità, imparando e adattandosi continuamente a diverse architetture di chip. Il risultato, sostiene Nixon, è uno stack software di livello CUDA. I clienti includono D-Matrix, un produttore di chip AI e sfidante di Nvidia, e Infinity è in trattative con altre grandi aziende di chip e cloud.

Gli umani forniscono ancora indicazioni di alto livello, ma Ignition gestisce il lavoro pesante. In un caso di studio, l'agente ha ridotto quello che avrebbe potuto essere un processo di anni a ore o giorni. Infinity non addebita una tassa di licenza iniziale; invece, prende una parte dei guadagni di prestazioni e dei risparmi sui costi, misurati in token al secondo. L'azienda ha attualmente 26 dipendenti che coprono design, operazioni e ingegneria.