La startup d'IA Subquadratic, basée à Miami, est sortie de l'ombre avec une affirmation si audacieuse qu'elle ferait rougir un Transformer : ils auraient prétendument résolu un goulot d'étranglement mathématique qui retient les grands modèles de langage en otage depuis près d'une décennie. Le nouveau modèle de l'entreprise, SubQ, promet d'être plus rapide, moins cher et plus économe en énergie que tout ce qui existe sur le marché, tout en traitant jusqu'à 12 fois plus de texte à la fois. C'est comme lire Guerre et Paix d'une seule traite au lieu de tourner les pages une par une.

Mais voici le hic : lorsque Subquadratic a fait sa grande annonce le mois dernier, les preuves étaient étrangement absentes. Le scepticisme a été rapide et impitoyable. Dan McAteer, un ingénieur en IA, a résumé l'ambiance sur X : « SubQ est soit la plus grande avancée depuis le Transformer... soit c'est l'IA Theranos. » Aïe.

Un mois plus tard, l'entreprise a commencé à apporter ces preuves, publiant les résultats de tests indépendants menés par la société tierce Appen. Les chiffres semblent prometteurs : SubQ a obtenu 89,7 % sur LiveCodeBench, un test de codage, et était 56 fois plus rapide que les modèles utilisant FlashAttention, une technique d'attention sparse antérieure. « C'était vraiment excitant pour moi, cela a validé leur architecture », déclare Jeanine Sinanan-Singh, directrice de la recherche en IA générative chez Appen.

Alors, quelle est la sauce secrète ? Subquadratic a abandonné l'attention dense - l'opération centrale des transformers, qui multiplie chaque token avec chaque autre token dans une explosion quadratique de calcul - au profit de l'attention sparse, qui ne multiplie que des paires sélectionnées. L'idée est que toutes les relations entre les mots ne comptent pas ; vous n'avez pas besoin de relier le premier mot de Gatsby le Magnifique au dernier mot juste pour le résumer. « Si vous lisez un livre, vous n'allez pas regarder le premier et le deuxième mot, le premier et le troisième - c'est insensé », déclare le cofondateur Alex Whedon.

Subquadratic ne dira pas exactement comment SubQ choisit les mots sur lesquels se concentrer - parce que, vous savez, secrets commerciaux - mais prétend que c'est dynamique et calculé à la volée. Les économies de coûts sont époustouflantes : exécuter le LLM Opus d'Anthropic via un test appelé RULER 128 coûte 2 600 $, tandis que SubQ le ferait pour huit dollars. Ce n'est pas une faute de frappe.

Avant de jeter votre abonnement OpenAI, quelques mises en garde : SubQ a réutilisé les poids du modèle open source chinois Qwen plutôt que de s'entraîner à partir de zéro, ce qui affaiblit l'affirmation d'une réinvention complète. Et le modèle est encore principalement sur liste d'attente, seuls quelques utilisateurs ayant une expérience pratique. « Les preuves publiques ne justifient pas encore l'affirmation plus forte selon laquelle ils ont résolu le goulot d'étranglement de l'attention quadratique », déclare le chercheur indépendant Will Depue.

Subquadratic, pour sa part, prend le scepticisme avec philosophie. « Nous espérons lancer une nouvelle ère d'efficacité », déclare le PDG Justin Dangel. « Nous ne pensons pas que quiconque construira encore sur des transformers dans quelques années. » En attendant, le monde attend - et se demande s'il s'agit de la prochaine grande chose ou simplement d'un autre problème mathématique bien financé.