I en bransch där "större är bättre" är praktiskt taget en religiös doktrin har en startup vid namn Underdog gjort det otänkbara: släppt en talmodell som bara är 32MB. Det är mindre än de flesta PDF-filer du råkat ladda ner av misstag. Medan AI-företag världen över tävlar om att bygga allt större modeller som kräver enorma mängder processorkraft, satsar Underdog på motsatt strategi – små modeller som körs på edge-enheter som din telefon eller dator.

För att visa upp sin nya röstmodell, kallad Woof, byggde Underdog ett spel. Spelet utspelar sig i ett rum med retroteknisk tema, en skrivmaskin och en CRT-skärm. Det finns en skrivbordslampa som låter när man klickar på strömbrytaren – för även minimalistiska AI-demon behöver ett tillfredsställande klick. Introduktionen varnar användare för "påträngande" molnleverantörer i staden, vilket förmodligen är en pik mot molnbaserade modeller. Subtilt är det inte.

Du kan interagera med skrivmaskinen och en musikstämmare. Skriv vad som helst på skrivmaskinen med ditt tangentbord, och spelet läser upp det. Vrid på stämmaren för att generera olika typer av musik. Allt detta fungerar i webbläsaren genom Underdogs talgenereringsmodell, som företaget säger kan köras på de flesta enheter utan någon internetanslutning. Modellen har 31 miljoner parametrar och är öppen för alla att ladda ner. Ja, 31 miljoner – en siffra som skulle få GPT-4 att skratta, om GPT-4 hade känslor och en känsla av överlägsenhet.

Även om en så liten modell troligen inte kommer att ersätta större modeller, kan den fortfarande vara tillräcklig för att driva lokala assistentupplevelser eller skapa personliga poddar. För ibland vill man bara ha en podd som låter som om den genererats av en brödrost med ambitioner.

Denna demo kommer veckor efter att Underdog lanserade Bark, en 167MB tal-till-text-modell som också är designad för att köras på edge-enheter för transkription och diktering. Bark är den tjocka i familjen, tydligen.

Sigil Wen, grundaren av Underdog, berättade för TechCrunch att han började bygga appen eftersom han, istället för att använda anteckningsverktyg som Granola, ville bygga sitt eget system med AI-modeller som kan köras på användarnas enheter och låta dem äga sin data. "Jag tror att vi kommer att kunna köra de flesta kapabla modeller som finns idag på de enheter du redan äger inom några månader", sa han. "Vi vill bara träna de bästa öppna modellerna som är amerikansktillverkade, som är öppna, som är kapabla och låter människor ha privat AI." Han hänvisade till sitt manifest, som förmodligen inte innehåller ett avsnitt om skrivbordslampan.

Förutom de två röstmodellerna som nämnts ovan har Underdog också släppt en modell med 27 miljarder parametrar som kan köras på bärbara datorer, tillsammans med en app med väntelista som företaget positionerar som ett lokalt värdalternativ till Muse och Instinct. Så medan resten av branschen bygger katedraler av beräkningskraft, håller Underdog på här med fickstora modeller och retrospektiva spel. Det är antingen en revolution eller ett mycket elaborate skämt – och ärligt talat är vi inte säkra på vilket vi hejar på.