Dans une industrie où « plus c'est gros, mieux c'est » est pratiquement un dogme religieux, une startup appelée Underdog a fait l'impensable : elle a publié un modèle vocal de seulement 32 Mo. C'est plus petit que la plupart des PDF que vous avez téléchargés par accident. Alors que les entreprises d'IA du monde entier se précipitent pour construire des modèles toujours plus grands nécessitant des quantités massives de puissance de calcul, Underdog parie sur l'approche inverse : des modèles minuscules qui tournent sur des appareils en périphérie comme votre téléphone ou votre ordinateur.

Pour montrer son nouveau modèle vocal, appelé Woof, Underdog a créé un jeu. Le jeu se déroule dans une pièce au thème rétro-tech, avec une machine à écrire et un moniteur CRT. Il y a une lampe de bureau qui émet un son quand on clique sur son interrupteur – parce que même les démos d'IA minimalistes ont besoin d'un clic satisfaisant. L'intro avertit les utilisateurs des fournisseurs cloud « intrusifs » dans la ville, ce qui est ostensiblement une pique aux modèles basés sur le cloud. Subtil, ça ne l'est pas.

Vous pouvez interagir avec la machine à écrire et un accordeur de musique. Tapez n'importe quoi sur la machine à écrire avec votre clavier, et le jeu le répétera à voix haute. Tournez l'accordeur pour générer différents types de musique. Tout cela fonctionne dans le navigateur grâce au modèle de génération vocale d'Underdog, que l'entreprise dit pouvoir faire tourner sur la plupart des appareils sans aucune connexion internet. Le modèle a 31 millions de paramètres et est ouvert à tous au téléchargement. Oui, 31 millions – un nombre qui ferait rire GPT-4, si GPT-4 avait des sentiments et un sens de la supériorité.

Un modèle aussi petit ne remplacera probablement pas les plus gros, mais il pourrait suffire à alimenter des expériences d'assistant local ou à créer des podcasts personnalisés. Parce que parfois, on veut juste un podcast qui donne l'impression d'avoir été généré par un grille-pain avec des ambitions.

Cette démo arrive quelques semaines après le lancement par Underdog de Bark, un modèle de reconnaissance vocale de 167 Mo également conçu pour tourner sur des appareils en périphérie pour la transcription et la dictée. Bark est apparemment le costaud de la famille.

Sigil Wen, le fondateur d'Underdog, a déclaré à TechCrunch qu'il a commencé à construire l'application parce que, au lieu d'utiliser des preneurs de notes comme Granola, il voulait construire son propre système avec des modèles d'IA qui peuvent tourner sur les appareils des utilisateurs et leur permettre de posséder leurs données. « Je pense que nous serons capables de faire tourner la plupart des modèles capables d'aujourd'hui sur les appareils que vous possédez déjà dans les mois à venir », a-t-il déclaré. « Nous voulons simplement entraîner les meilleurs modèles ouverts, fabriqués aux États-Unis, ouverts, capables et permettant aux gens d'avoir une IA privée. » Il faisait référence à son manifeste, qui ne comprend probablement pas de section sur la lampe de bureau.

En plus des deux modèles vocaux mentionnés ci-dessus, Underdog a également publié un modèle de 27 milliards de paramètres qui peut tourner sur des ordinateurs portables, ainsi qu'une application sur liste d'attente que l'entreprise positionne comme une alternative hébergée localement à Muse et Instinct. Ainsi, pendant que le reste de l'industrie construit des cathédrales de calcul, Underdog est ici à fabriquer des modèles de poche et des jeux rétro. C'est soit une révolution, soit une blague très élaborée – et honnêtement, nous ne savons pas laquelle nous soutenons.