In un settore in cui "più grande è meglio" è praticamente un dogma religioso, una startup chiamata Underdog ha fatto l'impensabile: ha rilasciato un modello vocale di soli 32MB. Più piccolo della maggior parte dei PDF che hai scaricato per sbaglio. Mentre le aziende di AI di tutto il mondo corrono per costruire modelli sempre più grandi che richiedono enormi quantità di potenza di calcolo, Underdog punta sull'approccio opposto: modelli minuscoli che girano su dispositivi edge come il tuo telefono o computer.

Per mettere in mostra il suo nuovo modello vocale, chiamato Woof, Underdog ha creato un gioco. Il gioco presenta una stanza a tema tech retrò, una macchina da scrivere e un monitor CRT. C'è una lampada da scrivania che emette un suono quando clicchi l'interruttore, perché anche le demo AI minimaliste hanno bisogno di un clic soddisfacente. L'introduzione avverte gli utenti dei provider cloud "invadenti" presenti in città, che è apparentemente una frecciata ai modelli basati su cloud. Sottile, non lo è.

Puoi interagire con la macchina da scrivere e un sintonizzatore musicale. Digita qualsiasi cosa sulla macchina da scrivere usando la tastiera e il gioco te la rileggerà. Ruota il sintonizzatore per generare diversi tipi di musica. Tutto questo funziona nel browser attraverso il modello di generazione vocale di Underdog, che l'azienda afferma possa girare sulla maggior parte dei dispositivi senza alcuna connessione internet. Il modello ha 31 milioni di parametri ed è aperto a tutti per il download. Sì, 31 milioni: un numero che farebbe ridere GPT-4, se GPT-4 avesse sentimenti e un senso di superiorità.

Un modello così piccolo probabilmente non sostituirà quelli più grandi, ma potrebbe comunque essere sufficiente per guidare esperienze di assistente locale o creare podcast personalizzati. Perché a volte vuoi solo un podcast che suoni come se fosse stato generato da un tostapane con ambizioni.

Questa demo arriva settimane dopo il lancio di Bark da parte di Underdog, un modello speech-to-text da 167MB anch'esso progettato per girare su dispositivi edge per trascrizione e dettatura. Bark è quello cicciottello della famiglia, a quanto pare.

Sigil Wen, fondatore di Underdog, ha dichiarato a TechCrunch di aver iniziato a costruire l'app perché, invece di usare prendinota come Granola, voleva costruire il proprio sistema con modelli AI che possano girare sui dispositivi degli utenti e permettere loro di possedere i propri dati. "Penso che saremo in grado di far girare la maggior parte dei modelli capaci di oggi sui dispositivi che già possiedi nel giro di mesi", ha detto. "Vogliamo solo addestrare i migliori modelli aperti, made in America, che siano aperti, capaci e permettano alle persone di avere un'AI privata". Si riferiva al suo manifesto, che presumibilmente non include una sezione sulla lampada da scrivania.

Oltre ai due modelli vocali menzionati sopra, Underdog ha anche rilasciato un modello da 27 miliardi di parametri che può girare su laptop, insieme a un'app in lista d'attesa che l'azienda posiziona come alternativa locale a Muse e Instinct. Quindi, mentre il resto del settore costruisce cattedrali di calcolo, Underdog se ne sta qui a creare modelli tascabili e giochi retrò. O è una rivoluzione o è uno scherzo molto elaborato, e onestamente non siamo sicuri per quale dei due stiamo tifando.