W branży, gdzie „większy jest lepszy” to praktycznie doktryna religijna, startup o nazwie Underdog zrobił coś niewyobrażalnego: wypuścił model mowy, który ma tylko 32 MB. To mniej niż większość plików PDF, które przypadkowo pobrałeś. Podczas gdy firmy AI na całym świecie ścigają się w budowaniu coraz większych modeli wymagających ogromnych mocy obliczeniowych, Underdog stawia na odwrotne podejście – maleńkie modele działające na urządzeniach brzegowych, takich jak twój telefon czy komputer.

Aby pochwalić się swoim nowym modelem głosowym o nazwie Woof, Underdog zbudował grę. Gra przedstawia pokój w stylu retro tech, maszynę do pisania i monitor CRT. Jest lampka biurkowa, która wydaje dźwięk po kliknięciu włącznika – bo nawet minimalistyczne dema AI potrzebują satysfakcjonującego kliknięcia. Wprowadzenie ostrzega użytkowników przed „intruzywnymi” dostawcami chmury w mieście, co jest rzekomo przytykiem do modeli opartych na chmurze. Subtelne to nie jest.

Możesz wchodzić w interakcję z maszyną do pisania i stroikiem muzycznym. Wpisz cokolwiek na maszynie do pisania za pomocą klawiatury, a gra wypowie to na głos. Obróć stroik, aby wygenerować różne rodzaje muzyki. Wszystko to działa w przeglądarce dzięki modelowi generowania mowy Underdog, który według firmy może działać na większości urządzeń bez połączenia z internetem. Model ma 31 milionów parametrów i jest otwarty do pobrania dla wszystkich. Tak, 31 milionów – liczba, która rozśmieszyłaby GPT-4, gdyby GPT-4 miało uczucia i poczucie wyższości.

Choć tak mały model prawdopodobnie nie zastąpi większych modeli, może wystarczyć do obsługi lokalnych asystentów lub tworzenia spersonalizowanych podcastów. Bo czasami po prostu chcesz podcast, który brzmi, jakby został wygenerowany przez toster z aspiracjami.

To demo pojawia się tygodnie po tym, jak Underdog uruchomił Bark, 167-megabajtowy model zamiany mowy na tekst, również zaprojektowany do działania na urządzeniach brzegowych w celu transkrypcji i dyktowania. Bark jest podobno tym pulchniejszym w rodzinie.

Sigil Wen, założyciel Underdog, powiedział TechCrunch, że zaczął budować aplikację, ponieważ zamiast używać notatników takich jak Granola, chciał zbudować własny system z modelami AI, które mogą działać na urządzeniach użytkowników i pozwolić im posiadać swoje dane. „Myślę, że w ciągu kilku miesięcy będziemy w stanie uruchomić większość dzisiejszych zdolnych modeli na urządzeniach, które już posiadasz” – powiedział. „Chcemy po prostu trenować najlepsze otwarte modele, które są amerykańskie, otwarte, zdolne i pozwalają ludziom mieć prywatną AI”. Odnosił się do swojego manifestu, który przypuszczalnie nie zawiera sekcji o lampce biurkowej.

Oprócz dwóch wspomnianych modeli głosowych, Underdog wypuścił również model z 27 miliardami parametrów, który może działać na laptopach, wraz z aplikacją z listą oczekujących, którą firma pozycjonuje jako lokalnie hostowaną alternatywę dla Muse i Instinct. Więc podczas gdy reszta branży buduje katedry obliczeń, Underdog tworzy kieszonkowe modele i retro gry. To albo rewolucja, albo bardzo wymyślny żart – i szczerze mówiąc, nie jesteśmy pewni, któremu kibicujemy.