IBM hat die neuesten Modelle seiner Familie von Open-Weight-LLMs vorgestellt, die zum Herunterladen und Selbst-Hosten gedacht sind. Die neu veröffentlichten Granite 4.2 gibt es in 3B-, 8B- und 30B-Parameter-Varianten.

Wie bei früheren Versionen verfolgt IBM hier einen Decoder-only-Ansatz. Diese neuen Releases bieten nativ ein Kontextfenster von 128.000 Token. Die 8B- und 30B-Varianten (nicht die 3B) durchlaufen außerdem einen agentischen Reinforcement-Learning-Block; sie wurden für erweiterte Fähigkeiten wie die Nutzung des Terminals, Websuche oder die Verwendung externer Tools trainiert. Das 3B-Modell unterstützt ebenfalls Tools, jedoch ohne das gleiche Maß an spezialisiertem Training.

Abgesehen von diesen Optimierungen ist dieses Release besonders bemerkenswert, weil, wie IBM selbst schreibt, "Granite 4.2 das auf Reasoning fokussierte Release der Granite-Sprachmodell-Familie ist".

Wenn Forscher oder Entwickler auf diesem Gebiet sagen, dass ein Modell zum Denken fähig ist, meinen sie das nicht im gleichen Sinne, wie wir es oft bei menschlichem Denken annehmen; die Modelle verstehen das Problem nicht bewusst. Stattdessen sprechen sie von funktionalem Reasoning, insbesondere über "Chain-of-Thought" und das Mitführen von Zwischenergebnissen über mehrere Schritte.

Für den Nutzer bedeutet das in einigen Fällen gründlichere und genauere Antworten, aber oft langsamere Reaktionszeiten und höhere Rechenanforderungen.

IBMs Granite-Modellfamilie macht selten Schlagzeilen dafür, die schnellste oder am aggressivsten innovative zu sein. Selbst im Vergleich zu anderen Wettbewerbern im lokalen Enterprise-Bereich, wie Nvidias Nemotron, scheint das Versprechen vorhersehbare Bereitstellungen zu sein – was die Priorität ist, die man heutzutage von IBM erwarten würde.

Es gab eine enorme Diskussion über die Kosten- und Rechenklemme bei Frontier-Cloud-Modellen von Unternehmen wie Anthropic oder OpenAI. In vielen Bereichen haben sowohl einzelne Entwickler als auch Unternehmen lokale Modelle als günstigere Alternativen erkundet.

Das hat auch zu einem gestiegenen Interesse an Modell-Routern geführt – KI-Tools, deren Hauptaufgabe darin besteht, Benutzeranfragen, Aufgaben oder Projekte zu interpretieren und sie an entsprechend skalierte Modelle weiterzuleiten, um Leistung, Geschwindigkeit und Kosten auszubalancieren.

Modelle wie diese sind auch bei Hobbyisten, KI-Forschern und einzelnen Entwicklern beliebt, weil sie auf lokaler Hardware herumgebastelt werden können, ohne API-Gebühren pro Token.