Майамский AI-стартап Subquadratic вышел из скрытого режима с заявлением, от которого покраснел бы любой Transformer: они якобы взломали математическое узкое место, удерживающее большие языковые модели в заложниках почти десятилетие. Новая модель компании, SubQ, обещает быть быстрее, дешевле и энергоэффективнее всего, что есть на рынке, обрабатывая до 12 раз больше текста за раз. Это как проглотить «Войну и мир» залпом вместо того, чтобы перелистывать страницы по одной.

Но вот загвоздка: когда Subquadratic сделал громкое объявление в прошлом месяце, подтверждения подозрительно отсутствовали. Скептицизм был быстрым и беспощадным. Дэн МакАтир, AI-инженер, подвел итог настроений в X: «SubQ — либо величайший прорыв со времен Transformer... либо AI-версия Theranos». Ой.

Месяц спустя компания начала предоставлять эти подтверждения, публикуя результаты независимых тестов, проведенных сторонней фирмой Appen. Цифры выглядят многообещающе: SubQ набрал 89,7% на LiveCodeBench, тесте по программированию, и был в 56 раз быстрее моделей, использующих FlashAttention, предыдущую технику разреженного внимания. «Это было очень волнительно для меня, это подтвердило их архитектуру», — говорит Жанин Синанан-Сингх, директор по исследованиям генеративного AI в Appen.

Так в чем секретный ингредиент? Subquadratic отказался от плотного внимания — основной операции трансформеров, которая умножает каждый токен с каждым другим токеном в квадратичном взрыве вычислений — в пользу разреженного внимания, которое умножает только выбранные пары. Идея в том, что не все связи между словами важны; вам не нужно связывать первое слово «Великого Гэтсби» с последним, чтобы просто резюмировать его. «Если вы читаете книгу, вы не будете смотреть на первое и второе слово, первое и третье — это безумие», — говорит сооснователь Алекс Уидон.

Subquadratic не говорит точно, как SubQ выбирает, на каких словах сосредоточиться — потому что, знаете, коммерческая тайна — но утверждает, что это динамично и вычисляется на лету. Экономия средств впечатляет: запуск LLM Opus от Anthropic через тест RULER 128 стоит 2600 долларов, в то время как SubQ якобы делает это за восемь баксов. Это не опечатка.

Прежде чем отменять подписку на OpenAI, несколько оговорок: SubQ использовал веса из китайской открытой модели Qwen, а не обучался с нуля, что подрывает утверждение о полном переосмыслении. И модель все еще в основном за списком ожидания, только у нескольких пользователей есть реальный опыт работы. «Публичные доказательства пока не оправдывают более сильное утверждение, что они решили проблему квадратичного внимания», — говорит независимый исследователь Уилл Депу.

Subquadratic, со своей стороны, философски относится к скептицизму. «Мы надеемся, что начинаем новую эру эффективности», — говорит генеральный директор Джастин Дэнджел. «Мы не думаем, что кто-то будет строить на трансформерах через несколько лет». А пока мир ждет — и гадает, будет ли это следующей большой вещью или просто очередной хорошо финансируемой математической задачей.