Miami merkezli yapay zeka startup'ı Subquadratic, bir Transformer'ı kızartacak kadar cesur bir iddiayla gizlilik modundan çıktı: Sözde, büyük dil modellerini neredeyse on yıldır rehin tutan matematiksel bir darboğazı çözmüşler. Şirketin yeni modeli SubQ, piyasadaki diğer her şeyden daha hızlı, daha ucuz ve daha enerji verimli olmayı vaat ederken, aynı anda 12 kata kadar daha fazla metin işleyebiliyor. Bu, Savaş ve Barış'ı sayfaları tek tek çevirmek yerine tek seferde okumak gibi bir şey.

Ama işin püf noktası şu: Subquadratic geçen ay büyük duyurusunu yaptığında, makbuzlar göze çarpacak şekilde eksikti. Şüphecilik hızlı ve acımasızdı. Yapay zeka mühendisi Dan McAteer, X'teki ruh halini özetledi: "SubQ ya Transformer'dan bu yana en büyük atılım ... ya da AI Theranos." Ay.

Bir ay sonra şirket, üçüncü taraf firma Appen tarafından yürütülen bağımsız testlerin sonuçlarını yayınlayarak bu makbuzları getirmeye başladı. Rakamlar umut verici görünüyor: SubQ, bir kodlama testi olan LiveCodeBench'te %89,7 puan aldı ve önceki bir seyrek dikkat tekniği olan FlashAttention'ı kullanan modellerden 56 kat daha hızlıydı. Appen'in üretken yapay zeka araştırma direktörü Jeanine Sinanan-Singh, "Bu benim için gerçekten heyecan vericiydi, mimarilerini doğruladı" diyor.

Peki gizli sos ne? Subquadratic, yalnızca seçili çiftleri çarpan seyrek dikkat lehine, her bir tokeni diğer her tokenle ikinci dereceden bir hesaplama patlamasında çarpan transformatörlerin temel işlemi olan yoğun dikkati terk etti. Fikir şu ki, her kelime ilişkisi önemli değil; Muhteşem Gatsby'nin ilk kelimesini son kelimesine bağlamanız gerekmez, sadece özetlemek için. Kurucu ortak Alex Whedon, "Bir kitap okuyorsanız, birinci ve ikinci kelimelere, birinci ve üçüncü kelimelere bakmayacaksınız - bu delilik" diyor.

Subquadratic, SubQ'nun hangi kelimelere odaklanacağını tam olarak söylemeyecek - çünkü, bilirsiniz, ticari sırlar - ancak dinamik olduğunu ve anında hesaplandığını iddia ediyor. Maliyet tasarrufu göz kamaştırıcı: Anthropic'in LLM Opus'unu RULER 128 adlı bir testten geçirmek 2.600 dolara mal olurken, SubQ'nun bunu sekiz dolara yaptığı iddia ediliyor. Bu bir yazım hatası değil.

OpenAI aboneliğinizi iptal etmeden önce, bazı uyarılar: SubQ, sıfırdan eğitmek yerine Çin açık kaynak modeli Qwen'den ağırlıkları yeniden kullandı, bu da tam bir yeniden icat iddiasını zayıflatıyor. Ve model hala çoğunlukla bir bekleme listesinin arkasında, yalnızca bir avuç kullanıcı gerçek uygulamalı deneyime sahip. Bağımsız araştırmacı Will Depue, "Kamuya açık kanıtlar, ikinci dereceden dikkat darboğazını çözdükleri yönündeki daha güçlü iddiayı henüz haklı çıkarmıyor" diyor.

Subquadratic ise şüpheciliğe felsefi yaklaşıyor. CEO Justin Dangel, "Umarız yeni bir verimlilik çağı başlatıyoruzdur. Kimsenin birkaç yıl içinde transformatörler üzerine inşa etmeyeceğini düşünüyoruz" diyor. O zamana kadar dünya bekliyor - ve bunun bir sonraki büyük şey mi yoksa sadece iyi finanse edilmiş bir matematik problemi mi olduğunu merak ediyor.