IBM heeft de nieuwste modellen uitgebracht in zijn familie van open-weight grote taalmodellen, ontworpen om te worden gedownload en zelf gehost. De nieuw gelanceerde Granite 4.2 komt in 3B-, 8B- en 30B-parametervarianten.

Net als eerdere versies hanteert IBM hier een decoder-only aanpak. Deze nieuwe releases bieden native een contextvenster van 128.000 tokens. De 8B- en 30B-varianten (niet de 3B) doorlopen ook een agentisch reinforcement-learning blok; ze zijn getraind voor uitgebreide mogelijkheden zoals het gebruik van de terminal, het doorzoeken van het web of het gebruik van externe tools. Het 3B-model ondersteunt ook tools, maar zonder hetzelfde niveau van gespecialiseerde training.

Naast deze aanpassingen is deze release vooral opmerkelijk omdat, zoals IBM zelf schrijft, "Granite 4.2 de op redeneren gerichte release is van de Granite-taalmodel-familie."

Wanneer onderzoekers of ontwikkelaars in het veld zeggen dat een model kan redeneren, bedoelen ze niet hetzelfde als wat we vaak aannemen bij menselijk redeneren; de modellen begrijpen het probleem niet bewust. In plaats daarvan hebben ze het over functioneel redeneren, met name via "chain-of-thought" en het meenemen van tussentijdse resultaten over meerdere stappen.

Voor de gebruiker betekent dit in sommige gevallen rigoureuzere en nauwkeurigere antwoorden, maar vaak langzamere responstijden en hogere rekenvereisten.

IBM's Granite-familie van modellen haalt zelden de krantenkoppen omdat het de snelste of meest agressief innovatieve is. Zelfs ten opzichte van andere concurrenten in de lokale enterprise-ruimte, zoals Nvidia's Nemotron, lijkt de pitch voorspelbare implementaties te zijn - wat de prioriteit is die je tegenwoordig van IBM mag verwachten.

Er is de laatste tijd enorm veel discussie geweest over de kosten en rekenkracht rond frontier cloud-modellen van bedrijven als Anthropic of OpenAI. In veel domeinen hebben zowel individuele ontwikkelaars als enterprise-organisaties lokale modellen onderzocht als goedkopere alternatieven.

Dat heeft ook geleid tot meer interesse in modelrouters - AI-tools waarvan de belangrijkste taak is om gebruikersprompts, taken of projecten te interpreteren en ze door te sturen naar passend geschaalde modellen om prestaties, snelheid en kosten in balans te brengen.

Modellen zoals deze zijn ook populair bij hobbyisten, AI-onderzoekers en individuele ontwikkelaars omdat ze op lokale hardware kunnen worden aangepast zonder API-kosten per token.