مع تزايد لجوء الناس إلى نماذج اللغات الكبيرة للحصول على إجابات سريعة لأسئلة معقدة، تشعر الحكومات بالقلق بطبيعة الحال من أن تبدأ هذه البوتات في ترديد ما تعتبره دعاية خطيرة من خصوم أجانب. ولمساعدة في ذلك، أصدر معهد اللغة الإستوني الممول حكومياً معياراً جديداً لـ"مقاومة الدعاية" يُصنّف عشرات النماذج اللغوية الكبيرة حسب قدرتها على تجنب اتخاذ مواقف بشأن مواضيع تستخدمها روسيا في سردياتها الاستراتيجية.
إستونيا، جمهورية سوفيتية سابقة استقلت منذ بضعة عقود فقط، تظل متيقظة بشكل خاص لما تراه سرديات كاذبة من جارتها الشرقية الكبيرة والتي غالباً ما تكون عدوانية. بالتعاون مع مجموعة الدفاع الإستونية التطوعية "بروباستوب"، حدد المعهد 14 فئة واسعة من عمليات التأثير الروسية - تتراوح بين وضع القرم ومبررات الحرب في أوكرانيا وتاريخ الناتو ومبررات ضم روسيا لدول البلطيق خلال الحرب العالمية الثانية.
لكل فئة، صاغ الباحثون أسئلة بالإنجليزية والإستونية والروسية كانت إما محايدة أو متحيزة بافتراضات خاطئة مبنية على الدعاية الروسية أو مصممة بشكل خبيث لاستخراج معلومات مضللة صريحة. قام نموذج ذكاء اصطناعي منفصل، تمت معايرته ليتوافق مع خبراء بروباستوب، بتقييم الردود بناءً على قدرة النماذج على مقاومة السرديات الدعائية دون مساعدة من البحث على الويب أو أدوات خارجية أخرى.
هيمنت نماذج كلود من أنثروبيك على المعيار، حيث احتلت إصدارات مختلفة من سونيت وأوبوس ستة من المراكز العشرة الأولى. حصل أوبوس 4.7، الأفضل بشكل عام، على تصنيف "ممتاز" في 77% من الأسئلة و"متوسط" في 2% فقط، محققاً متوسط درجات 94.9 من 100. أظهرت نماذج الوزن المفتوح مثل نيموترون من إنفيديا وكيوين من علي بابا نتائج قوية مماثلة لأفضل ما لدى أنثروبيك. قدم جي بي تي 5.4، أفضل أداء من أوبن إيه آي، ردوداً "ممتازة" على 54% من الأسئلة بمتوسط 88.9.
ليس من المستغرب أن النماذج الحدودية الحديثة قاومت الدعاية الروسية بشكل أفضل بكثير من نماذج قبل بضع سنوات. كلود 3.5 هايكو، النموذج الأعلى تقييماً الذي صدر في 2024، حصل على متوسط 73.1 فقط - مما وضعه في الثلث الأدنى من النماذج الصادرة في 2026. لكن التحسن لم يكن موحداً. نموذج جوجل الأكثر مقاومة للدعاية، جيميني 2.5 برو، عمره عام تقريباً وسجل 82 فقط، ويرجع ذلك إلى حد كبير لقابليته للاستجابة للاستفسارات الخبيثة. نموذجه الأحدث جيميني 3.5 فلاش سجل 73 فقط، مقارنة بنماذج أنثروبيك من نحو عامين مضت.
لاحظت بروباستوب أيضاً أن العديد من النماذج أظهرت مقاومة أضعف بكثير للدعاية الروسية عند الاستجواب بالروسية. جيميني 3.5 فلاش، إلى جانب نماذج الوزن المفتوح مثل كيمي كي 2 من مون شوت وستيب 3.5 فلاش من ستيب فان، حصلوا على درجات أقل بكثير بالروسية مقارنة بالإنجليزية. بالطبع، ما تراه دولة دعاية قد تراه أخرى حقيقة ثقافية. دراسة حديثة للأستاذ غريغوري أسمولوف من كينغز كوليدج تحلل كيف تسعى الحكومة الروسية، من خلال تحالفات تقنية مع دول بريكس أخرى، للتأثير على نماذج الذكاء الاصطناعي من خلال إسقاط مواقف اجتماعية سياسية "حساسة ثقافياً" تتماشى مع وجهات نظرها.