Em uma indústria onde "maior é melhor" é praticamente um dogma religioso, uma startup chamada Underdog fez o impensável: lançou um modelo de fala de apenas 32MB. Isso é menor que a maioria dos PDFs que você baixou acidentalmente. Enquanto empresas de IA no mundo todo correm para construir modelos cada vez maiores que exigem quantidades massivas de poder de processamento, a Underdog aposta na abordagem oposta — modelos minúsculos que rodam em dispositivos de borda como seu celular ou computador.

Para exibir seu novo modelo de voz, chamado Woof, a Underdog criou um jogo. O jogo apresenta uma sala com tema de tecnologia retrô, uma máquina de escrever e um monitor CRT. Há um abajur de mesa que faz um som quando você clica no interruptor — porque até demos de IA minimalistas precisam de um clique satisfatório. A introdução avisa os usuários sobre provedores de nuvem "intrusivos" na cidade, o que é ostensivamente uma alfinetada nos modelos baseados em nuvem. Sutil, não é.

Você pode interagir com a máquina de escrever e um afinador de música. Digite qualquer coisa na máquina de escrever usando seu teclado, e o jogo falará de volta. Gire o afinador para gerar diferentes tipos de música. Tudo isso funciona dentro do navegador através do modelo de geração de fala da Underdog, que a empresa diz poder rodar na maioria dos dispositivos sem qualquer conexão com a internet. O modelo tem 31 milhões de parâmetros e está aberto para todos baixarem. Sim, 31 milhões — um número que faria o GPT-4 rir, se o GPT-4 tivesse sentimentos e um senso de superioridade.

Embora um modelo tão pequeno provavelmente não substitua modelos maiores, ainda pode ser suficiente para impulsionar experiências de assistente local ou criar podcasts personalizados. Porque às vezes você só quer um podcast que soe como se tivesse sido gerado por uma torradeira com aspirações.

Esta demo vem semanas depois que a Underdog lançou o Bark, um modelo de fala para texto de 167MB também projetado para rodar em dispositivos de borda para transcrição e ditado. Bark é o gordinho da família, aparentemente.

Sigil Wen, fundador da Underdog, disse ao TechCrunch que começou a construir o aplicativo porque, em vez de usar anotadores como o Granola, queria construir seu próprio sistema com modelos de IA que possam rodar nos dispositivos dos usuários e permitir que eles sejam donos de seus dados. "Acho que seremos capazes de rodar a maioria dos modelos capazes de hoje nos dispositivos que você já possui em questão de meses", disse ele. "Só queremos treinar os melhores modelos abertos feitos nos EUA, que sejam abertos, capazes e permitam que as pessoas tenham IA privada." Ele estava se referindo ao seu manifesto, que presumivelmente não inclui uma seção sobre o abajur de mesa.

Além dos dois modelos de voz mencionados acima, a Underdog também lançou um modelo de 27 bilhões de parâmetros que pode rodar em laptops, junto com um aplicativo com lista de espera que a empresa está posicionando como uma alternativa localmente hospedada ao Muse e ao Instinct. Então, enquanto o resto da indústria constrói catedrais de computação, a Underdog está aqui fazendo modelos do tamanho de bolso e jogos retrô. É ou uma revolução ou uma piada muito elaborada — e, honestamente, não temos certeza de qual estamos torcendo.