IBM의 Granite 4.2: 하드 드라이브에 살아도 행복한 AI

IBM이 자체 호스팅을 위해 다운로드할 수 있도록 설계된 오픈 가중치 대규모 언어 모델 제품군에서 최신 모델을 출시했습니다. 새로 출시된 Granite 4.2는 3B, 8B, 30B 매개변수 변형으로 제공됩니다.

이전 버전과 마찬가지로 IBM은 여기서 디코더 전용 방식을 채택하고 있습니다. 이 새로운 릴리스는 기본적으로 128,000 토큰 컨텍스트 창을 제공합니다. 8B 및 30B 변형(3B는 제외)은 에이전트 강화 학습 블록을 거치며, 터미널 사용, 웹 검색, 외부 도구 사용과 같은 확장된 기능을 위해 훈련되었습니다. 3B 모델도 도구를 지원하지만 동일한 수준의 특수 훈련은 없습니다.

이러한 조정 외에도 이번 릴리스는 IBM 자신이 썼듯이 "Granite 4.2는 Granite 언어 모델 제품군의 추론 중심 릴리스"이기 때문에 특히 주목할 만합니다.

현장의 연구자나 개발자가 모델이 추론할 수 있다고 말할 때, 그들은 인간의 추론에 대해 이야기할 때 흔히 가정하는 것과 같은 의미를 의미하지 않습니다. 모델은 문제를 의식적으로 이해하는 것이 아닙니다. 대신, 그들은 기능적 추론, 특히 '사고 사슬'과 여러 단계를 거쳐 중간 결과를 전달하는 것을 말합니다.

사용자에게 이는 경우에 따라 더 엄격하고 정확한 응답을 의미하지만, 종종 응답 시간이 느려지고 계산 요구 사항이 높아집니다.

IBM의 Granite 모델 제품군은 가장 빠르거나 가장 공격적으로 혁신적이라는 헤드라인을 거의 장식하지 않습니다. Nvidia의 Nemotron과 같은 로컬 엔터프라이즈 공간의 다른 경쟁자와 비교해도, 그 제안은 예측 가능한 배포로 보입니다. 이는 요즘 IBM에서 기대할 수 있는 우선순위입니다.

최근 Anthropic이나 OpenAI와 같은 회사의 프론티어 클라우드 모델을 둘러싼 비용과 컴퓨팅 부족에 대한 논의가 엄청나게 많았습니다. 많은 영역에서 개별 개발자와 엔터프라이즈 조직 모두 더 저렴한 대안으로 로컬 모델을 탐색해 왔습니다.

이는 또한 모델 라우터에 대한 관심을 증가시켰습니다. 모델 라우터는 사용자 프롬프트, 작업 또는 프로젝트를 해석하고 성능, 속도 및 비용의 균형을 맞추기 위해 적절한 범위의 모델로 라우팅하는 주요 작업을 하는 AI 도구입니다.

이와 같은 모델은 토큰당 API 비용 없이 로컬 하드웨어에서 만지작거릴 수 있기 때문에 취미로 하는 사람, AI 연구자 및 개별 개발자에게도 인기가 있습니다.