In een industrie waar 'groter is beter' haast een religieus dogma is, heeft een startup genaamd Underdog het ondenkbare gedaan: een spraakmodel uitgebracht van slechts 32MB. Dat is kleiner dan de meeste pdf's die je per ongeluk hebt gedownload. Terwijl AI-bedrijven wereldwijd racen om steeds grotere modellen te bouwen die enorme hoeveelheden rekenkracht vereisen, wedt Underdog op de tegenovergestelde aanpak: piepkleine modellen die op edge-apparaten zoals je telefoon of computer draaien.

Om zijn nieuwe spraakmodel, Woof genaamd, te demonstreren, bouwde Underdog een game. De game speelt zich af in een kamer met een retro-technologie-thema, een typemachine en een CRT-monitor. Er is een bureaulamp die geluid maakt als je op de schakelaar klikt – want zelfs minimalistische AI-demo's hebben een bevredigende klik nodig. De intro waarschuwt gebruikers voor 'opdringerige' cloudproviders in de stad, wat ogenschijnlijk een sneer is naar cloudgebaseerde modellen. Subtiel is het niet.

Je kunt interactie hebben met de typemachine en een muziektuner. Typ iets op de typemachine met je toetsenbord, en de game spreekt het terug. Draai aan de tuner om verschillende soorten muziek te genereren. Dit alles werkt in de browser via Underdogs spraakgeneratiemodel, dat volgens het bedrijf op de meeste apparaten kan draaien zonder internetverbinding. Het model heeft 31 miljoen parameters en is voor iedereen te downloaden. Ja, 31 miljoen – een getal waar GPT-4 om zou lachen, als GPT-4 gevoelens en een superioriteitsgevoel had.

Hoewel zo'n klein model waarschijnlijk grotere modellen niet zal vervangen, kan het nog steeds genoeg zijn voor lokale assistent-ervaringen of het maken van gepersonaliseerde podcasts. Want soms wil je gewoon een podcast die klinkt alsof hij is gegenereerd door een broodrooster met ambities.

Deze demo komt weken nadat Underdog Bark lanceerde, een spraak-naar-tekst-model van 167MB dat ook is ontworpen om op edge-apparaten te draaien voor transcriptie en dicteren. Bark is blijkbaar de dikke van de familie.

Sigil Wen, de oprichter van Underdog, vertelde TechCrunch dat hij de app begon te bouwen omdat hij, in plaats van notitie-apps zoals Granola te gebruiken, zijn eigen systeem wilde bouwen met AI-modellen die op apparaten van gebruikers kunnen draaien en hen hun eigen data laten bezitten. 'Ik denk dat we binnen enkele maanden de meest capabele modellen van vandaag op de apparaten die je al bezit kunnen draaien,' zei hij. 'We willen gewoon de beste open modellen trainen die in Amerika zijn gemaakt, die open zijn, die capabel zijn en mensen private AI laten hebben.' Hij verwees naar zijn manifest, dat vermoedelijk geen sectie over de bureaulamp bevat.

Naast de twee hierboven genoemde spraakmodellen heeft Underdog ook een model met 27 miljard parameters uitgebracht dat op laptops kan draaien, samen met een app met wachtlijst die het bedrijf positioneert als een lokaal gehost alternatief voor Muse en Instinct. Dus terwijl de rest van de industrie kathedralen van rekenkracht bouwt, maakt Underdog hier modellen op zakformaat en retro-games. Het is ofwel een revolutie of een zeer uitgebreide grap – en eerlijk gezegd weten we niet voor welke we juichen.