Allá por el verano de 2017, investigadores de Google publicaron un artículo llamado “Attention Is All You Need”, presentando el transformer, una red neuronal que resultó ser espectacularmente buena para procesar largas secuencias de texto. Nueve años después, los transformers son el motor dentro de cada gran modelo de lenguaje (LLM). “Toda la industria de la IA está construida sobre transformers”, dice Justin Dangel, CEO de la startup de IA Subquadratic, llamándolos una de las innovaciones más importantes en la historia de la informática. Pero incluso los grandes éxitos empiezan a cansar después de un tiempo.

Los transformers están mostrando su edad. Los avances recientes en LLM, como modelos de razonamiento que garabatean notas para sí mismos y manejan entradas masivas, no son extensiones ordenadas de la tecnología central; son parches de cinta adhesiva sobre fallas fundamentales. Así que un creciente grupo de científicos e ingenieros se preguntan: ¿qué sigue? Los LLM no van a ninguna parte, pero cómo se construyen está en juego. MIT Technology Review ha denominado a esta futura generación “LLMs+”, y una ola de startups está cargando, esperando empujar los límites de esta tecnología de ciudad en auge. Algunas fracasarán, pero tienen todo por jugar y mucho menos que perder que los líderes actuales.

Primero, el problema. Los transformers dependen de la atención densa, que compara cada palabra (o token) con cada otra palabra mediante multiplicación. Captura el significado brillantemente, pero el cómputo escala horriblemente: un documento de 10,000 palabras podría necesitar 50 millones de multiplicaciones. Por eso los LLM consumen tanta energía. El presidente de OpenAI, Greg Brockman, dice que la compañía gastará $50 mil millones en computación este año, y la Agencia Internacional de Energía predice que el uso de electricidad de los centros de datos se duplicará para 2030. Los transformers también luchan con ventanas de contexto grandes, mantener un registro de una biblioteca, un código base o salidas de agentes, y los modelos de razonamiento añaden más datos para manejar. A medida que los LLM crecen, los transformers se convierten en un cuello de botella.

Aquí hay cuatro ideas locas para arreglarlo.

**Idea 1: Atención dispersa, estilo Subquadratic**

Subquadratic, con sede en Miami, afirma que ha descifrado la atención dispersa, computando solo algunos emparejamientos de palabras en lugar de todos, sin perder significado. Su modelo, SubQ, supuestamente rivaliza con los mejores LLM en tareas de búsqueda y codificación. Los escépticos permanecen, pero miles se han unido a la lista de espera. La compañía dice que descubre sobre la marcha qué palabras importan, y planea un lanzamiento amplio pronto.

**Idea 2: Retención de potencia de Manifest AI**

Manifest AI, de San Francisco, abandona la atención por la “retención de potencia”, que almacena solo la información más relevante y proporciona un resumen continuo de la ventana de contexto, descartando bits menos relevantes a medida que llegan nuevos datos. El concepto tiene una década, pero Manifest afirma que finalmente es competitivo con los transformers. Convirtió el LLM de codificación de código abierto StarCoder en PowerCoder y lanzó Brumby, que dice rivaliza con Qwen de Alibaba. El cofundador Carles Gelada ve aplicaciones desde analizar videos de horas hasta agentes que se mantienen en tarea durante semanas.

**Idea 3: Redes neuronales líquidas de Liquid AI**

Liquid AI, spinout del MIT, combina transformers con redes neuronales líquidas, inspiradas en cerebros de gusanos, para crear “modelos fundacionales líquidos” (LFM). Estos son mucho más pequeños y más eficientes energéticamente, funcionando en una Raspberry Pi de $50. Son gratuitos para organizaciones con ingresos anuales inferiores a $10 millones, y han acumulado casi 34 millones de descargas, dice el CEO Ramin Hasani. Los modelos igualan a rivales cuatro veces más grandes, incluyendo versiones de Qwen y Gemma de Google. La salsa secreta: una IA que diseña los modelos, estableciéndose en un híbrido de 20% transformers y 80% redes líquidas. Hasani se maravilla de que el cerebro funcione con 20 vatios: “Podemos ser mucho más innovadores”.

**Idea 4: Difusión de Inception**

Inception, con sede en Palo Alto, genera oraciones completas de una vez usando difusión, la tecnología detrás de los modelos de imagen y video. Los LLM de difusión, como Mercury 2, afirman igualar el rendimiento de GPT-4 pero 10 veces más rápido. El cofundador Stefano Ermon, investigador de Stanford, descubrió las matemáticas para hacer que la difusión funcione con texto en