Daha hızlı AI çıkarımı yarışı sürüyor ve piyasalar, Mayıs ayındaki halka arzında Cerebras ve amaca yönelik çiplerini sıcak karşıladı. Ancak Fransız girişimi Kog, geleneksel GPU'lardan çok daha fazla güç sıkılabileceğine bahse giriyor.
Girişim, Mayıs ayında Hacker News'in ön sayfasına, "standart veri merkezi GPU'larında son derece hızlı tek istek kod çözmenin mümkün olduğunu" kanıtlamayı amaçlayan bir teknoloji önizlemesiyle çıktı - demosunda kullandığı AMD MI300X ve NVIDIA H200 GPU'lar gibi.
Bazıları bunun dizüstü bilgisayarlarımızdaki GPU'ları kapsamadığını duyunca hayal kırıklığına uğradı, ancak diğerleri potansiyeli gördü. Çıkarım hızı ve maliyetleri artık kritik bir darboğaz haline gelirken, Kog'un mevcut donanımda yazılım optimizasyonuyla yeni yetenekler açma vaadi sadece meraklıları değil, 200 somut iş fırsatını da cezbetti, diyor CEO Gaël Delalleau TechCrunch'a.
Erken geri bildirimlere dayanarak, tek kurucu yazılım mühendisliğinin ilk kullanım senaryosu olacağını bekliyor. Kıdemli Claude Code kullanıcıları, bazen sonuç almak için saatlerce beklemek zorunda kaldıklarını çok iyi bilirler. Anthropic, hızın para ettiğini anlıyor ve Claude'un Hızlı Modu için çok daha yüksek fiyat talep ediyor.
Kog, genellikle profesyonel görevler için AI iş akışlarına güvendikleri için bu gecikmelerden rahatsız olan müşterileri hedeflemeyi umuyor. Ancak girişimin, kullanıcıların bir komutla oyun ve uygulama üretmesine izin veren tasarım ortakları da var ve Kog Inference Engine (KIE) sayesinde daha hızlı sonuç almak onlar için daha fazla gelir anlamına gelir, diyor Delalleau.
Şirket, bu pazarın henüz tam olgunlaşmadığını kabul ediyor. Talebi gözlemlerken Kog, potansiyel müşterilerinin küçük modelleri ince ayar yapmaya hazır olmadığını öğrendi. "Ve bu yüzden lansmandan bu yana, gördüğümüz talebi karşılamak için tamamen daha büyük modellerin geliştirilmesini hızlandırmaya odaklandık."
Bu, Kog'u '30 kat daha hızlı LLM çıkarımı' vaadini yerine getirmek için büyük bir sıçrama yapmak zorunda bırakıyor. Demosu, istek başına saniyede 3.000 token (TPS) gibi etkileyici bir hız gösterdi - ancak yalnızca yaklaşık 2 milyar parametreli, artık açık kaynaklı Laneformer 2B adlı amaca yönelik küçük bir modelle.
Şüphecileri çürüten Delalleau, aynı yaklaşımın, boyutları çıkarım çipleri için zorluk olabilen LLM'lerde de aynı şekilde işe yarayabileceğinden emin. "GPU'ların parlak bir geleceği var," diyor. Kog'un CEO'suna göre, GPU'ların kod çözme için uygun olmadığı fikri yanlış bir kanı haline geldi; yeni GPU'lar, açılmayı bekleyen giderek daha fazla bellek bant genişliğine sahip.
Kog, yazılım optimizasyonunun GPU'ların kutuda yazandan daha fazlasını yapmasına yardımcı olabileceğini düşünen tek kişi değil. Yine Fransa'dan ZML, Nvidia'nın CUDA'sını atlayarak rakip çiplerde hızlı çıkarımı destekleyen donanımdan bağımsız yazılım yayınladı. Ancak Delalleau, Kog'un daha çok Stanford Üniversitesi laboratuvarı Hazy Research'e benzediğini ve GPU hızlandırmaya daha derin bir odaklandığını söylüyor.
Delalleau'nun kendisi bir araştırmacı değil ve ilk girişimi TechCrunch50 2009 mezunu Stribe'nin yenisiyle hiçbir ilgisi yok - eski kurucu ortağı VC Kamel Zeroual dışında; onun firması Varsity VC, Kog'un tohum turuna eş liderlik etti. Ancak girişimin derin odak noktası, onun benzersiz geçmişinden kaynaklanıyor.
Fransa'nın École Polytechnique'inde katı hal fiziği okuduktan sonra, saldırgan siber güvenlik alanında çalışmaya devam etti - beyaz şapkalı hackleme olarak da bilinir. Delalleau'ya göre bu, ekibine benimsetmeye çalıştığı zihniyeti şekillendirdi. Bilim tarafında, "fizik yasalarını ve GPU yasalarını anlama, onlardan en iyi şekilde yararlanma zihniyeti var."
Hackleme konusuna gelince, DEF CON'un CTF turnuvasının dört kez finalisti olan Delalleau, bunun kendisine "çok düşük seviyede - montaj dili ve ikili koda kadar - tersine mühendislik yapmayı, nasıl çalıştığını anlamayı ve mutlaka tasarlanmadığı bir hedefe ulaşmak için kullanmayı" öğrettiğini söyledi.
Bu yaklaşımın dezavantajı, çok uygulamalı ve zaman alıcı olması. "Her yeni GPU için, ayrıntılara gerçekten dalmak için birkaç hafta hatta ay harcayacağız."