IBM wypuściło najnowsze modele z rodziny otwartych modeli językowych o otwartych wagach, zaprojektowanych do pobrania i hostowania lokalnie. Nowo wprowadzony Granite 4.2 występuje w wariantach 3B, 8B i 30B parametrów.

Podobnie jak poprzednie wersje, IBM stosuje tutaj podejście typu decoder-only. Nowe wydania oferują natywnie kontekst 128 000 tokenów. Warianty 8B i 30B (nie 3B) przechodzą również przez blok agentowego uczenia przez wzmacnianie; zostały wytrenowane pod kątem rozszerzonych możliwości, takich jak korzystanie z terminala, przeszukiwanie sieci czy używanie zewnętrznych narzędzi. Model 3B również obsługuje narzędzia, ale bez tego samego poziomu specjalistycznego treningu.

Poza tymi poprawkami, to wydanie jest szczególnie godne uwagi, ponieważ, jak pisze sam IBM, "Granite 4.2 to wydanie rodziny modeli językowych Granite skoncentrowane na rozumowaniu".

Kiedy badacze lub programiści w tej dziedzinie mówią, że model potrafi rozumować, nie mają na myśli tego samego, co zwykle zakładamy, mówiąc o ludzkim rozumowaniu; modele nie rozumieją problemu świadomie. Zamiast tego mówią o funkcjonalnym rozumowaniu, w szczególności poprzez "łańcuch myśli" i przenoszenie pośrednich wyników przez wiele kroków.

Dla użytkownika oznacza to bardziej rygorystyczne i dokładne odpowiedzi w niektórych przypadkach, ale często wolniejsze czasy reakcji i większe wymagania obliczeniowe.

Modele z rodziny Granite IBM rzadko trafiają na pierwsze strony gazet jako najszybsze lub najbardziej agresywnie innowacyjne. W porównaniu nawet z innymi konkurentami w lokalnym środowisku korporacyjnym, takimi jak Nvidia Nemotron, wydaje się, że chodzi o przewidywalne wdrożenia - co jest priorytetem, jakiego można oczekiwać od IBM w dzisiejszych czasach.

Niedawno pojawiło się mnóstwo dyskusji na temat kosztów i problemów z mocą obliczeniową wokół granicznych modeli chmurowych od firm takich jak Anthropic czy OpenAI. W wielu dziedzinach zarówno indywidualni programiści, jak i organizacje korporacyjne badają modele lokalne jako tańsze alternatywy.

Doprowadziło to również do zwiększonego zainteresowania routerami modeli - narzędziami AI, których głównym zadaniem jest interpretowanie promptów użytkownika, zadań lub projektów i kierowanie ich do odpowiednio dopasowanych modeli w celu zrównoważenia wydajności, szybkości i kosztów.

Modele takie jak ten są również popularne wśród hobbystów, badaczy AI i indywidualnych programistów, ponieważ można nimi manipulować na lokalnym sprzęcie bez opłat API za token.