IBM a lansat cele mai noi modele din familia sa de modele lingvistice mari cu greutăți deschise, concepute pentru a fi descărcate și găzduite local. Noul Granite 4.2 vine în variante cu 3B, 8B și 30B de parametri.

Ca și în versiunile anterioare, IBM adoptă o abordare doar cu decoder. Aceste noi lansări oferă nativ o fereastră de context de 128.000 de token-uri. Variantele 8B și 30B (nu și cea de 3B) trec și printr-un bloc de învățare prin întărire agentic; au fost antrenate pentru capacități extinse, cum ar fi utilizarea terminalului, căutarea pe web sau folosirea instrumentelor externe. Modelul 3B acceptă și instrumente, dar fără același nivel de antrenament specializat.

Dincolo de aceste ajustări, această lansare este deosebit de notabilă pentru că, așa cum scrie însuși IBM, „Granite 4.2 este lansarea axată pe raționament a familiei de modele lingvistice Granite.”

Când cercetătorii sau dezvoltatorii din domeniu spun că un model este capabil de raționament, nu înseamnă în același sens în care presupunem adesea când vorbim despre raționamentul uman; modelele nu înțeleg problema în mod conștient. În schimb, se referă la raționament funcțional, în special prin „lanț de gândire” și prin transportarea rezultatelor intermediare prin mai mulți pași.

Pentru utilizator, asta înseamnă răspunsuri mai riguroase și mai precise în unele cazuri, dar adesea timpi de răspuns mai lenți și cerințe de calcul mai mari.

Modelele din familia Granite ale IBM rareori fac titluri pentru că sunt cele mai rapide sau cele mai agresiv inovatoare. În comparație chiar și cu alți competitori din spațiul enterprise local, cum ar fi Nemotron de la Nvidia, propunerea pare să fie implementări previzibile – ceea ce este prioritatea pe care te-ai aștepta de la IBM în zilele noastre.

A existat o cantitate enormă de discuții despre costurile și criza de calcul din jurul modelelor cloud de frontieră de la companii precum Anthropic sau OpenAI. În multe domenii, atât dezvoltatorii individuali, cât și organizațiile enterprise au explorat modelele locale ca alternative mai ieftine.

Aceasta a dus și la un interes crescut pentru routerele de modele – instrumente AI al căror rol principal este să interpreteze solicitările, sarcinile sau proiectele utilizatorilor și să le direcționeze către modele adecvate pentru a echilibra performanța, viteza și costul.

Modelele de acest tip sunt populare și printre hobbyiști, cercetători AI și dezvoltatori individuali, deoarece pot fi modificate pe hardware local fără taxe API per token.