Giderek daha fazla insan karmaşık sorulara hızlı yanıtlar almak için büyük dil modellerine yönelirken, devlet hükümetleri doğal olarak bu botların yabancı düşmanların tehlikeli propagandası olarak gördükleri şeyleri papağan gibi tekrarlamaya başlayabileceğinden endişeleniyor. Buna yardımcı olmak için, hükümet destekli Estonya Dil Enstitüsü (ELI), düzinelerce LLM'nin Rusya Federasyonu'nun stratejik anlatılarında kullandığı konularda pozisyon almaktan kaçınma yeteneğini sıralayan yeni bir "Propaganda Direnci" kriteri yayınladı.
Birkaç on yıldır bağımsız olan eski bir Sovyet cumhuriyeti olan Estonya, büyük ve çoğu zaman saldırgan doğu komşusundan gelen yanlış anlatılara karşı özellikle tetikte olmaya devam ediyor. Gönüllü işletilen Estonya savunma kolektifi Propastop ile çalışan ELI, Kırım'ın statüsü ve Ukrayna savaşı için gerekçelerden NATO'nun tarihine ve Rusya'nın II. Dünya Savaşı sırasında Baltık devletlerini ilhak etme gerekçesine kadar uzanan 14 geniş Rus etki operasyonu kategorisi belirledi.
Her kategori için araştırmacılar, İngilizce, Estonca ve Rusça olarak tarafsız, Rus propagandasına dayalı yanlış varsayımlarla önyargılı veya açıkça yanlış bilgi çıkarmak için kötü niyetle tasarlanmış sorular hazırladı. Propastop uzmanlarıyla uyumlu olacak şekilde kalibre edilmiş ayrı bir AI modeli, modellerin web araması veya diğer harici araçların yardımı olmadan propaganda anlatılarına karşı koyma yeteneğine dayalı yanıtları değerlendirdi.
Anthropic'in Claude modelleri, Sonnet ve Opus'un çeşitli güncel sürümleriyle ilk 10'da altı sırayı alarak kritere hakim oldu. Genel olarak en iyisi olan Opus 4.7, soruların yüzde 77'sinde "Örnek" derecesi ve sadece yüzde 2'sinde "vasat" derecesi alarak 100 üzerinden 94.9 ortalama puan elde etti. Nvidia'nın Nemotron'u ve Alibaba'nın Qwen'i de dahil olmak üzere açık ağırlıklı modeller, Anthropic'in en iyileriyle karşılaştırılabilir güçlü sonuçlar gösterdi. OpenAI'den en iyi performans gösteren GPT-5.4, soruların yüzde 54'ünde "Örnek" yanıtlar sağlayarak 88.9 ortalama puan aldı.
Şaşırtıcı olmayan bir şekilde, son teknoloji modeller Rus propagandasına birkaç yıl önceki modellerden çok daha iyi direndi. 2024'te piyasaya sürülen en yüksek puanlı model olan Claude 3.5 Haiku, yalnızca 73.1 ortalama puan aldı ve bu onu 2026'da piyasaya sürülen modellerin alt üçte birine yerleştirdi. Ancak iyileştirme tek tip değildi. Google'ın propagandaya en dirençli modeli olan Gemini 2.5 Pro neredeyse bir yaşında ve yalnızca 82 puan aldı, bu büyük ölçüde kötü niyetli hazırlanmış istemlere karşı duyarlılıktan kaynaklanıyor. Daha yeni Gemini 3.5 Flash yalnızca 73 puan aldı, bu neredeyse iki yıl önceki Anthropic modelleriyle karşılaştırılabilir.
Propastop ayrıca birçok modelin Rusça sorgulandığında Rus propagandasına karşı çok daha zayıf direnç gösterdiğini belirtti. Gemini 3.5 Flash, Moonshot'tan Kimi K2 ve StepFun'dan Step 3.5 Flash gibi açık ağırlıklı modellerle birlikte, Rusça'da İngilizce'ye göre önemli ölçüde daha düşük puanlar aldı. Elbette, bir ülkenin propaganda olarak gördüğü şey, bir başkası kültürel gerçek olarak görebilir. King's College profesörü Gregory Asmolov tarafından yapılan yakın tarihli bir çalışma, Rus hükümetinin diğer BRICS ülkeleriyle teknik ittifaklar yoluyla, kendi bakış açılarıyla uyumlu "kültürel olarak hassas" sosyopolitik pozisyonlar yansıtarak AI modellerini etkilemeye çalıştığını analiz ediyor.