Într-o industrie în care „mai mare e mai bine” este practic o doctrină religioasă, un startup numit Underdog a făcut de neconceput: a lansat un model de vorbire de doar 32MB. Asta e mai mic decât majoritatea PDF-urilor pe care le-ai descărcat accidental. În timp ce companiile AI din întreaga lume se întrec să construiască modele din ce în ce mai mari care necesită cantități masive de putere de procesare, Underdog pariază pe abordarea opusă – modele minuscule care rulează pe dispozitive edge precum telefonul sau computerul tău.

Pentru a-și etala noul model vocal, numit Woof, Underdog a construit un joc. Jocul prezintă o cameră cu tematică tech retro, o mașină de scris și un monitor CRT. Există o lampă de birou care scoate un sunet când îi apeși întrerupătorul – pentru că până și demo-urile AI minimaliste au nevoie de un click satisfăcător. Introducerea avertizează utilizatorii despre furnizorii de cloud „intruzivi” din oraș, ceea ce este, aparent, o ironie la adresa modelelor bazate pe cloud. Subtil, nu este.

Poți interacționa cu mașina de scris și cu un acordor muzical. Tastează orice pe mașina de scris folosind tastatura, iar jocul îl va rosti înapoi. Rotește acordorul pentru a genera diferite tipuri de muzică. Toate acestea funcționează în browser prin modelul de generare vocală al Underdog, despre care compania spune că poate rula pe majoritatea dispozitivelor fără nicio conexiune la internet. Modelul are 31 de milioane de parametri și este deschis pentru ca toată lumea să îl descarce. Da, 31 de milioane – un număr care l-ar face pe GPT-4 să râdă, dacă GPT-4 ar avea sentimente și un simț al superiorității.

Deși un model atât de mic probabil nu va înlocui modelele mai mari, ar putea fi totuși suficient pentru a alimenta experiențe de asistent local sau pentru a crea podcasturi personalizate. Pentru că uneori vrei doar un podcast care sună ca și cum ar fi fost generat de un prăjitor de pâine cu aspirații.

Acest demo vine la câteva săptămâni după ce Underdog a lansat Bark, un model speech-to-text de 167MB, de asemenea conceput să ruleze pe dispozitive edge pentru transcriere și dictare. Bark este cel dolofan al familiei, aparent.

Sigil Wen, fondatorul Underdog, a declarat pentru TechCrunch că a început să construiască aplicația pentru că, în loc să folosească instrumente de notițe precum Granola, a vrut să-și construiască propriul sistem cu modele AI care pot rula pe dispozitivele utilizatorilor și le permit acestora să dețină datele. „Cred că vom putea rula majoritatea modelelor capabile de astăzi pe dispozitivele pe care le dețineți deja în câteva luni”, a spus el. „Vrem doar să antrenăm cele mai bune modele deschise, fabricate în America, care sunt deschise, capabile și permit oamenilor să aibă AI privat.” Se referea la manifestul său, care probabil nu include o secțiune despre lampa de birou.

Pe lângă cele două modele vocale menționate mai sus, Underdog a lansat și un model cu 27 de miliarde de parametri care poate rula pe laptopuri, împreună cu o aplicație cu listă de așteptare pe care compania o poziționează ca alternativă găzduită local la Muse și Instinct. Deci, în timp ce restul industriei construiește catedrale de calcul, Underdog este aici făcând modele de dimensiunea unui buzunar și jocuri retro. Este fie o revoluție, fie o glumă foarte elaborată – și sincer, nu suntem siguri pentru care dintre ele ținem pumnii.