IBM выпустила новейшие модели в своем семействе больших языковых моделей с открытым весом, предназначенных для загрузки и самостоятельного размещения. Недавно запущенный Granite 4.2 доступен в вариантах с параметрами 3B, 8B и 30B.

Как и в предыдущих версиях, IBM использует здесь подход только с декодером. Эти новые выпуски предлагают собственное контекстное окно на 128 000 токенов. Варианты 8B и 30B (не 3B) также проходят через агентный блок обучения с подкреплением; они были обучены расширенным возможностям, таким как использование терминала, поиск в Интернете или использование внешних инструментов. Модель 3B также поддерживает инструменты, но без такого же уровня специализированного обучения.

Помимо этих изменений, этот выпуск особенно примечателен тем, что, как пишет сама IBM, «Granite 4.2 — это выпуск семейства языковых моделей Granite, ориентированный на рассуждения».

Когда исследователи или разработчики в этой области говорят, что модель способна рассуждать, они не имеют в виду то же самое, что мы часто предполагаем, говоря о человеческих рассуждениях; модели не осознанно понимают проблему. Вместо этого они говорят о функциональных рассуждениях, в частности через «цепочку мыслей» и перенос промежуточных результатов через несколько шагов.

Для пользователя это означает более строгие и точные ответы в некоторых случаях, но часто более медленное время отклика и более высокие вычислительные требования.

Семейство моделей IBM Granite редко попадает в заголовки газет как самое быстрое или самое агрессивно инновационное. По сравнению даже с другими конкурентами в локальном корпоративном пространстве, такими как Nvidia Nemotron, предложение, по-видимому, заключается в предсказуемых развертываниях — что является приоритетом, которого можно ожидать от IBM в наши дни.

В последнее время ведется огромное количество дискуссий о стоимости и вычислительном кризисе вокруг пограничных облачных моделей таких компаний, как Anthropic или OpenAI. Во многих областях как отдельные разработчики, так и корпоративные организации изучают локальные модели как более дешевые альтернативы.

Это также привело к повышению интереса к маршрутизаторам моделей — инструментам ИИ, основная задача которых — интерпретировать пользовательские запросы, задачи или проекты и направлять их к соответствующим по масштабу моделям для баланса производительности, скорости и стоимости.

Такие модели также популярны среди любителей, исследователей ИИ и отдельных разработчиков, потому что их можно настраивать на локальном оборудовании без оплаты за токен через API.