في صيف عام 2017، نشر باحثو جوجل ورقة بحثية بعنوان "الانتباه هو كل ما تحتاجه"، مقدمةً المحول - وهي شبكة عصبية أثبتت أنها جيدة بشكل مذهل في معالجة تسلسلات طويلة من النصوص. بعد تسع سنوات، أصبحت المحولات هي المحرك داخل كل نموذج لغوي كبير رئيسي. يقول جاستن دانجيل، الرئيس التنفيذي لشركة Subquadratic الناشئة في مجال الذكاء الاصطناعي: "صناعة الذكاء الاصطناعي بأكملها مبنية على المحولات"، واصفًا إياها بأنها واحدة من أهم الابتكارات في تاريخ علوم الكمبيوتر. ولكن حتى أعظم الأغاني الناجحة تبدأ في أن تصبح مملة بعد فترة.

تُظهر المحولات علامات التقدم في العمر. التطورات الأخيرة في نماذج اللغات الكبيرة - مثل نماذج التفكير التي تدون ملاحظات لنفسها وتتعامل مع مدخلات ضخمة - ليست امتدادات أنيقة للتقنية الأساسية؛ بل هي رقع شريط لاصق فوق عيوب أساسية. لذا، يتساءل مجموعة متزايدة من العلماء والمهندسين: ما التالي؟ نماذج اللغات الكبيرة لن تختفي، لكن كيفية بنائها قابلة للنقاش. وقد أطلقت مجلة MIT Technology Review على هذا الجيل المستقبلي اسم "LLMs+"، وموجة من الشركات الناشئة تتقدم، آملة في دفع حدود هذه التقنية المزدهرة. بعضها سيفشل، لكن لديهم كل شيء ليلعبوا من أجله وخسارة أقل بكثير من الشركات الرائدة اليوم.

أولاً، المشكلة. تعتمد المحولات على الانتباه الكثيف، الذي يقارن كل كلمة (أو رمز) مع كل كلمة أخرى عبر الضرب. يلتقط المعنى ببراعة، لكن الحساب يتوسع بشكل سيء: مستند من 10,000 كلمة قد يتطلب 50 مليون عملية ضرب. لهذا السبب تستهلك نماذج اللغات الكبيرة الكثير من الطاقة. يقول رئيس OpenAI، جريج بروكمان، إن الشركة ستنفق 50 مليار دولار على الحوسبة هذا العام، وتتوقع وكالة الطاقة الدولية أن يتضاعف استهلاك الكهرباء في مراكز البيانات بحلول عام 2030. كما تواجه المحولات صعوبة في التعامل مع نوافذ سياق كبيرة - تتبع مكتبة أو قاعدة بيانات أو مخرجات وكيل - ونماذج التفكير تضيف المزيد من البيانات للتعامل معها. مع نمو نماذج اللغات الكبيرة، تصبح المحولات عنق زجاجة.

إليك أربع أفكار جامحة لإصلاح ذلك.

**الفكرة 1: الانتباه المتناثر بأسلوب Subquadratic**

تدعي شركة Subquadratic ومقرها ميامي أنها نجحت في حل الانتباه المتناثر - حساب بعض أزواج الكلمات فقط بدلاً من الكل - دون فقدان المعنى. نموذجها، SubQ، يفترض أنه ينافس أفضل نماذج اللغات الكبيرة في مهام البحث والبرمجة. لا يزال المتشككون موجودين، لكن الآلاف انضموا إلى قائمة الانتظار. تقول الشركة إنها تحدد على الطاير الكلمات المهمة، وتخطط لإصدار واسع قريبًا.

**الفكرة 2: الاحتفاظ بالطاقة من Manifest AI**

تتخلى شركة Manifest AI في سان فرانسيسكو عن الانتباه لصالح "الاحتفاظ بالطاقة"، الذي يخزن فقط المعلومات الأكثر صلة ويوفر ملخصًا متجددًا لنافذة السياق، متجاهلاً الأجزاء الأقل صلة مع وصول بيانات جديدة. المفهوم عمره عقد من الزمن، لكن Manifest تدعي أنها أخيرًا أصبحت قادرة على منافسة المحولات. حوّلت نموذج اللغات الكبير مفتوح المصدر StarCoder إلى PowerCoder وأصدرت Brumby، الذي تقول إنه ينافس Qwen من علي بابا. يرى المؤسس المشارك كارليس جيلادا تطبيقات من تحليل مقاطع فيديو طويلة إلى وكلاء يظلون في مهمتهم لأسابيع.

**الفكرة 3: الشبكات العصبية السائلة من Liquid AI**

شركة Liquid AI المنبثقة عن MIT تجمع بين المحولات والشبكات العصبية السائلة - المستوحاة من أدمغة الديدان - لإنشاء "نماذج أساسية سائلة" (LFMs). هذه النماذج أصغر بكثير وأكثر كفاءة في استخدام الطاقة، وتعمل على Raspberry Pi بسعر 50 دولارًا. وهي مجانية للمنظمات التي يقل إيرادها السنوي عن 10 ملايين دولار، وقد حققت ما يقرب من 34 مليون عملية تنزيل، كما يقول الرئيس التنفيذي رامين حساني. النماذج تضاهي منافسين أكبر بأربع مرات، بما في ذلك إصدارات من Qwen وGemma من جوجل. السر: ذكاء اصطناعي يصمم النماذج، ويستقر على مزيج من 20% محولات و80% شبكات سائلة. يتعجب حساني من أن الدماغ يعمل بـ 20 واط: "يمكننا أن نكون أكثر ابتكارًا بكثير".

**الفكرة 4: الانتشار من Inception**

شركة Inception، ومقرها بالو ألتو، تولد جملًا كاملة دفعة واحدة باستخدام الانتشار - التقنية وراء نماذج الصور والفيديو. نماذج اللغات الكبيرة القائمة على الانتشار، مثل Mercury 2، تدعي أنها تضاهي أداء GPT-4 لكنها أسرع بعشر مرات. المؤسس المشارك ستيفانو إيرمون، باحث في ستانفورد، اكتشف الرياضيات لجعل الانتشار يعمل مع النصوص في