IBM, indirilip kendi sunucunuzda barındırılmak üzere tasarlanmış açık ağırlıklı büyük dil modelleri ailesindeki en yeni modelleri piyasaya sürdü. Yeni çıkan Granite 4.2, 3B, 8B ve 30B parametre varyantlarıyla geliyor.

Önceki sürümler gibi IBM de burada yalnızca kod çözücü (decoder-only) yaklaşımını benimsiyor. Bu yeni sürümler, doğal olarak 128.000 tokenlik bir bağlam penceresi sunuyor. 8B ve 30B varyantları (3B olanı değil) ayrıca ajan benzeri pekiştirmeli öğrenme bloğundan geçiyor; terminal kullanma, web'de arama yapma veya harici araçları kullanma gibi genişletilmiş yetenekler için eğitildiler. 3B model de araçları destekliyor, ancak aynı düzeyde özel eğitim olmadan.

Bu ayarlamaların ötesinde, bu sürüm özellikle dikkat çekici çünkü IBM'in kendi yazdığı gibi, "Granite 4.2, Granite dil modeli ailesinin akıl yürütme odaklı sürümüdür."

Araştırmacılar veya geliştiriciler bir modelin akıl yürütme yeteneğine sahip olduğunu söylediklerinde, bunu insan akıl yürütmesinden bahsederken sıklıkla varsaydığımız anlamda kastetmiyorlar; modeller sorunu bilinçli olarak anlamıyorlar. Bunun yerine, işlevsel akıl yürütmeden, özellikle de "düşünce zinciri" (chain-of-thought) ve ara sonuçları birden çok adım boyunca ileri taşımaktan bahsediyorlar.

Kullanıcı için bu, bazı durumlarda daha titiz ve doğru yanıtlar anlamına gelir, ancak genellikle daha yavaş yanıt süreleri ve daha yüksek hesaplama talepleri demektir.

IBM'in Granite model ailesi, en hızlı veya en agresif yenilikçi olarak nadiren manşetlere çıkar. Yerel kurumsal alandaki Nvidia'nın Nemotron'u gibi diğer rakiplere kıyasla bile, sunum öngörülebilir dağıtımlar gibi görünüyor - IBM'den bugünlerde bekleyebileceğiniz öncelik de budur.

Son zamanlarda Anthropic veya OpenAI gibi şirketlerin sınır bulut modelleri etrafındaki maliyet ve hesaplama krizi hakkında çok büyük miktarda söylem var. Birçok alanda, hem bireysel geliştiriciler hem de kurumsal organizasyonlar daha ucuz alternatifler olarak yerel modelleri keşfediyor.

Bu da model yönlendiricilere (model routers) olan ilginin artmasına yol açtı - ana işi kullanıcı istemlerini, görevlerini veya projelerini yorumlamak ve performans, hız ve maliyeti dengelemek için bunları uygun kapsamdaki modellere yönlendirmek olan yapay zeka araçları.

Bu tür modeller, token başına API ücreti olmadan yerel donanımda kurcalanabildikleri için meraklılar, yapay zeka araştırmacıları ve bireysel geliştiriciler arasında da popülerdir.