Startup Afirma Ter Resolvido Problema Matemático dos LLMs, Cépticos Dizem 'Mostre os Benchmarks'
Uma startup afirma ter resolvido o gargalo quadrático dos LLMs com um novo modelo mais rápido, barato e que lida com 12x mais texto - mas ainda não se sabe se é um avanço ou apenas marketing muito bom.
A startup de IA Subquadratic, sediada em Miami, saiu do modo furtivo com uma afirmação tão ousada que faria um Transformer corar: eles supostamente quebraram um gargalo matemático que mantém os grandes modelos de linguagem reféns há quase uma década. O novo modelo da empresa, SubQ, promete ser mais rápido, mais barato e mais eficiente energeticamente do que qualquer outra coisa no mercado, processando até 12 vezes mais texto de uma só vez. É como ler Guerra e Paz de um gole em vez de virar páginas uma a uma.
Mas aqui está o problema: quando a Subquadratic fez seu grande anúncio no mês passado, os recibos estavam conspicuamente ausentes. O ceticismo foi rápido e impiedoso. Dan McAteer, um engenheiro de IA, resumiu o clima no X: "SubQ é ou o maior avanço desde o Transformer... ou é a Theranos da IA." Ui.
Um mês depois, a empresa começou a trazer esses recibos, publicando resultados de testes independentes realizados pela empresa terceirizada Appen. Os números parecem promissores: SubQ obteve 89,7% no LiveCodeBench, um teste de codificação, e foi 56 vezes mais rápido que modelos usando FlashAttention, uma técnica anterior de atenção esparsa. "Isso foi realmente empolgante para mim, validou a arquitetura deles", diz Jeanine Sinanan-Singh, diretora de pesquisa generativa de IA da Appen.
Então, qual é o segredo? A Subquadratic abandonou a atenção densa - a operação central dos transformers, que multiplica cada token com todos os outros tokens numa explosão quadrática de computação - em favor da atenção esparsa, que multiplica apenas pares selecionados. A ideia é que nem toda relação entre palavras importa; você não precisa conectar a primeira palavra de O Grande Gatsby à última apenas para resumi-lo. "Se você está lendo um livro, não vai olhar para a primeira e segunda palavras, primeira e terceira - isso é loucura", diz o cofundador Alex Whedon.
A Subquadratic não diz exatamente como o SubQ escolhe em quais palavras focar - porque, sabe, segredos comerciais - mas afirma que é dinâmico e calculado em tempo real. A economia de custos é de cair o queixo: executar o LLM Opus da Anthropic através de um teste chamado RULER 128 custa $2.600, enquanto o SubQ supostamente faz isso por oito dólares. Isso não é um erro de digitação.
Antes de cancelar sua assinatura da OpenAI, algumas ressalvas: o SubQ reutilizou pesos do modelo chinês de código aberto Qwen em vez de treinar do zero, o que enfraquece a alegação de uma reinvenção completa. E o modelo ainda está principalmente numa lista de espera, com apenas um punhado de usuários tendo experiência prática. "As evidências públicas ainda não justificam a afirmação mais forte de que eles resolveram o gargalo de atenção quadrática", diz o pesquisador independente Will Depue.
A Subquadratic, por sua vez, é filosófica sobre o ceticismo. "Esperamos estar iniciando uma nova era de eficiência", diz o CEO Justin Dangel. "Não achamos que alguém estará construindo sobre transformers em alguns anos." Até lá, o mundo espera - e se pergunta se isso é a próxima grande novidade ou apenas mais um problema matemático bem financiado.
The Good Times
Notícias na sua caixa.
Um resumo sardônico, entregue conforme sua agenda. Grátis. Cancele quando quiser.
Já está inscrito mas nunca chegamos à sua caixa de entrada? Veja a pasta de spam e clique em 'Não é spam' (ou 'Remover do spam') para nos tirar do purgatório do lixo eletrônico. De quebra, ajuda todo mundo.
Rewrite Article
Select parts to regenerate with a fresh AI pass. Translations will be updated automatically.
Generate AI Image
Creates a sardonic version of the article image using OpenAI.