Auf der Hot-Chips-Konferenz am Dienstag hat OpenAI endlich den Vorhang für seinen kundenspezifischen Inferenzchip Jalapeño gelüftet – und Überraschung, Überraschung – er ist ziemlich gut in dem, was er tut. Getestet mit SemiAnalysis' InferenceX-Benchmark lieferte Jalapeño mehr Tokens pro Benutzer und mehr Durchsatz pro Kilowatt als die derzeitigen Spitzenreiter unter den Inferenzprozessoren. Das ist eine schicke Art zu sagen, dass es mehr KI pro Watt serviert, was die Art von Effizienz ist, die Buchhalter und Umweltschützer gleichermaßen ein kleines Freudentänzchen machen lässt.

„Unterm Strich zeigen die Ergebnisse einen sehr, sehr signifikanten Leistungsvorsprung gegenüber dem Stand der Technik“, sagte Richard Ho, Leiter der Hardware-Abteilung bei OpenAI, in einem Pressegespräch. „Jalapeño kann mehr KI-Arbeit pro Leistungseinheit bewältigen und gleichzeitig schneller antworten. Es ist sehr effizient, viele Kunden zu bedienen, aber es kann auch sehr niedrige Latenzzeiten bieten.“

Aber bevor Sie anfangen, eine Parade zu planen, hier der Haken: Dieser Vergleich bezieht sich auf ein Nvidia-Blackwell-System – das, wenn Jalapeño tatsächlich auf den Markt kommt, vielleicht noch ein paar Tricks mehr im Ärmel hat. Ho schätzte, dass Jalapeño Ende 2026 „in sehr kleinen Stückzahlen“ ausgeliefert wird, mit einer bedeutenderen Auslieferung im Jahr 2027. Es dauert also noch eine Weile, bis wir die volle Geschmacksrichtung kosten.

Erstmals im letzten Oktober angekündigt, wurde Jalapeño von OpenAI in enger Zusammenarbeit mit Broadcom entwickelt, wobei OpenAIs eigene Modelle den Entwicklungsprozess unterstützten. Das Unternehmen plant, Jalapeño zu einer multigenerationalen Plattform zu machen, die es ermöglicht, KI-Produkte, Modelle, Chips und Speicher gemeinsam zu entwickeln. Dank dieses Full-Stack-Ansatzes konnte OpenAI spezifische Phasen im Inferenzprozess adressieren, die oft Reibung während der Inferenzverarbeitung verursachen. Insbesondere ist Jalapeño darauf ausgelegt, Verzögerungen während der Prefill- und Kommunikationsphasen der Verarbeitung zu minimieren, die laut OpenAI oft Engpässe darstellen.

„Wir haben Jalapeño so entwickelt, dass Datenbewegung und Kommunikationsverzögerungen minimiert werden“, sagte das Unternehmen in einem Blogbeitrag, der die Ergebnisse präsentierte. „Das bedeutet, dass der Modellzustand, einschließlich des KV-Cache, der während der Generierung einer Antwort verwendet wird, explizit platziert und lokal gehalten werden kann, während das System die richtige Kombination aus Rechenleistung, Speicher und Netzwerk für jede Inferenzphase aktiviert.“ Mit anderen Worten: Sie haben den Chip schlau gemacht, was die Platzierung von Dingen angeht, sodass er nicht herumlaufen und sie suchen muss. Revolutionär, wir wissen.