Lá no verão de 2017, pesquisadores do Google publicaram um artigo chamado "Attention Is All You Need", apresentando o transformer - uma rede neural que se mostrou espetacularmente boa em processar longas sequências de texto. Nove anos depois, os transformers são o motor dentro de todos os grandes modelos de linguagem (LLMs). "Toda a indústria de IA é construída sobre transformers", diz Justin Dangel, CEO da startup de IA Subquadratic, chamando-os de uma das inovações mais importantes da história da ciência da computação. Mas até os maiores sucessos começam a cansar depois de um tempo.

Os transformers estão mostrando sua idade. Avanços recentes em LLMs - como modelos de raciocínio que rabiscam notas para si mesmos e lidam com entradas massivas - não são extensões elegantes da tecnologia central; são remendos de fita adesiva sobre falhas fundamentais. Então, um grupo crescente de cientistas e engenheiros está perguntando: e agora? Os LLMs não vão a lugar nenhum, mas como são construídos está em jogo. A MIT Technology Review apelidou essa futura geração de "LLMs+", e uma onda de startups está avançando, esperando empurrar os limites dessa tecnologia em expansão. Algumas vão falhar, mas têm tudo a ganhar e muito menos a perder do que os líderes atuais.

Primeiro, o problema. Os transformers dependem de atenção densa, que compara cada palavra (ou token) com todas as outras por multiplicação. Isso captura significado brilhantemente, mas o custo computacional escala horrivelmente: um documento de 10.000 palavras pode precisar de 50 milhões de multiplicações. É por isso que os LLMs consomem tanta energia. O presidente da OpenAI, Greg Brockman, diz que a empresa gastará US$ 50 bilhões em computação este ano, e a Agência Internacional de Energia prevê que o uso de eletricidade dos data centers dobrará até 2030. Os transformers também lutam com janelas de contexto grandes - manter o controle de uma biblioteca, um código-fonte ou saídas de agentes - e os modelos de raciocínio adicionam mais dados para gerenciar. À medida que os LLMs crescem, os transformers se tornam um gargalo.

Aqui estão quatro ideias malucas para consertar isso.

**Ideia 1: Atenção Esparsa, Estilo Subquadratic**

A Subquadratic, com sede em Miami, afirma que decifrou a atenção esparsa - computando apenas alguns pares de palavras em vez de todos - sem perder o significado. Seu modelo, SubQ, supostamente rivaliza com os principais LLMs em tarefas de busca e codificação. Os céticos permanecem, mas milhares entraram na lista de espera. A empresa diz que descobre em tempo real quais palavras importam e planeja um lançamento amplo em breve.

**Ideia 2: Retenção de Potência da Manifest AI**

A Manifest AI, de São Francisco, abandona a atenção pela "retenção de potência", que armazena apenas as informações mais relevantes e fornece um resumo contínuo da janela de contexto, descartando partes menos relevantes à medida que novos dados chegam. O conceito tem uma década, mas a Manifest afirma que finalmente é competitivo com os transformers. Ela transformou o LLM de código aberto StarCoder em PowerCoder e lançou o Brumby, que diz rivalizar com o Qwen da Alibaba. O cofundador Carles Gelada vê aplicações desde analisar vídeos de horas até agentes que permanecem na tarefa por semanas.

**Ideia 3: Redes Neurais Líquidas da Liquid AI**

A Liquid AI, spin-off do MIT, combina transformers com redes neurais líquidas - inspiradas em cérebros de vermes - para criar "modelos de fundação líquidos" (LFMs). Eles são muito menores e mais eficientes em energia, rodando em um Raspberry Pi de US$ 50. Eles são gratuitos para organizações com receita anual inferior a US$ 10 milhões e acumularam quase 34 milhões de downloads, diz o CEO Ramin Hasani. Os modelos igualam rivais quatro vezes maiores, incluindo versões do Qwen e do Gemma do Google. O segredo: uma IA que projeta os modelos, optando por um híbrido de 20% transformers e 80% redes líquidas. Hasani se maravilha que o cérebro funciona com 20 watts: "Podemos ser muito mais inovadores."

**Ideia 4: Difusão da Inception**

A Inception, com sede em Palo Alto, gera frases inteiras de uma vez usando difusão - a tecnologia por trás dos modelos de imagem e vídeo. LLMs de difusão, como o Mercury 2, afirmam igualar o desempenho do GPT-4, mas 10 vezes mais rápido. O cofundador Stefano Ermon, pesquisador de Stanford, descobriu a matemática para fazer a difusão funcionar com texto em