मियामी स्थित AI स्टार्टअप Subquadratic ने स्टील्थ मोड से बाहर आकर ऐसा दावा किया है कि ट्रांसफॉर्मर भी शरमा जाए। उनका कहना है कि उन्होंने एक गणितीय अड़चन को सुलझा लिया है जो पिछले लगभग एक दशक से बड़े भाषा मॉडलों को बंधक बनाए हुए थी। कंपनी का नया मॉडल, SubQ, बाजार में किसी भी अन्य चीज़ से तेज़, सस्ता और अधिक ऊर्जा-कुशल होने का वादा करता है, साथ ही एक बार में 12 गुना अधिक टेक्स्ट प्रोसेस करता है। यह ऐसा है जैसे वॉर एंड पीस को एक ही घूंट में पढ़ लेना, बजाय एक-एक पेज पलटने के।

लेकिन यहाँ पकड़ है: जब Subquadratic ने पिछले महीने अपनी बड़ी घोषणा की, तो सबूत गायब थे। संशय तुरंत और बेरहम था। AI इंजीनियर Dan McAteer ने X पर मूड को संक्षेप में कहा: "SubQ या तो ट्रांसफॉर्मर के बाद सबसे बड़ी सफलता है... या फिर यह AI थेरानोस है।" ओह।

एक महीने बाद, कंपनी ने सबूत लाने शुरू कर दिए हैं, तीसरे पक्ष की फर्म Appen द्वारा किए गए स्वतंत्र परीक्षणों के परिणाम प्रकाशित किए हैं। संख्याएँ आशाजनक दिखती हैं: SubQ ने कोडिंग टेस्ट LiveCodeBench पर 89.7% स्कोर किया, और FlashAttention (एक पिछली स्पार्स-अटेंशन तकनीक) का उपयोग करने वाले मॉडलों की तुलना में 56 गुना तेज़ था। "यह वास्तव में मेरे लिए रोमांचक था, इसने उनके आर्किटेक्चर को मान्य किया," Appen की जनरेटिव AI रिसर्च की निदेशक Jeanine Sinanan-Singh कहती हैं।

तो गुप्त सॉस क्या है? Subquadratic ने डेंस अटेंशन को छोड़ दिया - ट्रांसफॉर्मर का मुख्य ऑपरेशन, जो हर टोकन को हर दूसरे टोकन से गुणा करता है, जिससे कम्प्यूटेशन का एक द्विघात विस्फोट होता है - और इसके बजाय स्पार्स अटेंशन अपनाया, जो केवल चुनिंदा जोड़ियों को गुणा करता है। विचार यह है कि हर शब्द संबंध मायने नहीं रखता; द ग्रेट गैट्सबी के पहले शब्द को आखिरी शब्द से जोड़ने की ज़रूरत नहीं है, बस इसे सारांशित करने के लिए। "अगर आप एक किताब पढ़ रहे हैं, तो आप पहले और दूसरे शब्द, पहले और तीसरे को नहीं देखेंगे - यह पागलपन है," सह-संस्थापक Alex Whedon कहते हैं।

Subquadratic यह नहीं बताएगा कि SubQ कैसे चुनता है कि किन शब्दों पर ध्यान केंद्रित करना है - क्योंकि, आप जानते हैं, व्यापार रहस्य - लेकिन दावा करता है कि यह गतिशील है और चलते-फिरते गणना की जाती है। लागत बचत चौंकाने वाली है: Anthropic के LLM Opus को RULER 128 नामक परीक्षण के माध्यम से चलाने की लागत $2,600 है, जबकि SubQ कथित तौर पर इसे आठ रुपये में करता है। यह कोई टाइपो नहीं है।

अपनी OpenAI सब्सक्रिप्शन को फेंकने से पहले, कुछ चेतावनियाँ: SubQ ने चीनी ओपन-सोर्स मॉडल Qwen से वज़न का पुन: उपयोग किया, न कि स्क्रैच से प्रशिक्षित किया, जो पूर्ण पुनराविष्कार के दावे को कमजोर करता है। और मॉडल अभी भी ज्यादातर वेटलिस्ट के पीछे है, केवल मुट्ठी भर उपयोगकर्ताओं के पास वास्तविक अनुभव है। "सार्वजनिक सबूत अभी तक इस मजबूत दावे को सही नहीं ठहराते कि उन्होंने द्विघात अटेंशन अड़चन को हल कर लिया है," स्वतंत्र शोधकर्ता Will Depue कहते हैं।

Subquadratic, अपनी ओर से, संशय को दार्शनिक रूप से लेता है। "हमें उम्मीद है कि हम दक्षता के एक नए युग की शुरुआत कर रहे हैं," CEO Justin Dangel कहते हैं। "हमें नहीं लगता कि कोई कुछ वर्षों में ट्रांसफॉर्मर पर निर्माण करेगा।" तब तक, दुनिया इंतजार करती है - और सोचती है कि यह अगली बड़ी चीज है या सिर्फ एक और अच्छी तरह से वित्तपोषित गणित की समस्या।