Salı günü Hot Chips konferansında OpenAI nihayet özel çıkarım çipi Jalapeño'nun perdesini araladı ve - sürpriz, sürpriz - yaptığı işte oldukça iyi. SemiAnalysis'in InferenceX kıyaslamasında test edilen Jalapeño, mevcut en son teknoloji çıkarım işlemcilerinden kullanıcı başına daha fazla token ve kilovat başına daha fazla verim sağladı. Bu, watt başına daha fazla AI hizmeti verdiği anlamına gelen süslü bir ifade; bu da muhasebecileri ve çevrecileri aynı anda mutlu eden türden bir verimlilik.

“Sonuç olarak, sonuçlar en son teknolojiye göre çok ama çok önemli bir performans ilerlemesi gösteriyor,” dedi OpenAI'in donanım başkanı Richard Ho bir basın toplantısında. “Jalapeño, birim güç başına daha fazla AI işi sunabilirken, yanıtları da daha hızlı döndürüyor. Çok sayıda müşteriye hizmet etmek çok verimli, ancak aynı zamanda çok düşük gecikme süresi de olabilir.”

Ama bir geçit töreni planlamaya başlamadan önce, işin püf noktası şu: bu karşılaştırma, Jalapeño piyasaya çıktığında birkaç numarası daha olabilecek bir Nvidia Blackwell sistemine karşı. Ho, Jalapeño'nun 2026'nın sonunda “çok küçük hacimlerde” dağıtılacağını, daha önemli dağıtımın 2027'de geleceğini tahmin etti. Yani, tam lezzeti tatmamız biraz zaman alacak.

İlk olarak geçen Ekim ayında duyurulan Jalapeño, OpenAI tarafından Broadcom ile yakın işbirliği içinde geliştirildi ve OpenAI'in kendi modelleri geliştirme sürecine yardımcı oldu. Şirket, Jalapeño'yu çok kuşaklı bir platform yapmayı ve AI ürünlerinin, modellerinin, çiplerinin ve belleğinin birlikte geliştirilmesini planlıyor. Bu tam yığın yaklaşımı sayesinde OpenAI, çıkarım işleme sırasında sıklıkla sürtünmeye neden olan belirli aşamaları ele alabildi. Özellikle Jalapeño, işlemenin ön doldurma ve iletişim aşamalarındaki gecikmeleri en aza indirecek şekilde tasarlandı; OpenAI bunların genellikle darboğaz oluşturduğunu söylüyor.

“Jalapeño'yu veri hareketini ve iletişim gecikmelerini en aza indirecek şekilde tasarladık,” dedi şirket sonuçları sunan bir blog yazısında. “Bu, model durumunun, yanıt üretilirken kullanılan KV önbelleği de dahil olmak üzere, sistem her çıkarım aşaması için doğru hesaplama, bellek ve ağ kombinasyonunu etkinleştirirken açıkça yerleştirilebileceği ve yerel tutulabileceği anlamına gelir.” Başka bir deyişle, çipi eşyaları nereye koyacağını bilen biri yaptılar, böylece onları aramak için ortalıkta koşuşturmasına gerek kalmıyor. Devrim niteliğinde, biliyoruz.