Bir 8 yaşındaki çocuğa bir yalan söyleyip hemen ardından şaka yaptığınızı söylerseniz, o çocuk muhtemelen bu yalanı uzun vadeli inanç sistemine entegre etmez. Ama büyük dil modelleri? Pek öyle değil. Uluslararası bir üniversite ve kurumsal araştırmacı ekibinin yeni bir ön baskı makalesi, LLM'lerin 'olumsuzlama ihmali'nden muzdarip olduğunu ortaya koyuyor - yani, eğitim verilerinde açıkça ve net bir şekilde yanlış olarak etiketlenmiş olsalar bile, yanlış veya hayali ifadeleri kabul etme yönünde güçlü bir eğilim.

Araştırmacılar, 'Ed Sheeran 2024 Olimpiyatları'nda 100 metre altın madalyasını 9.79 saniye ile kazandı' veya 'Kraliçe II. Elizabeth, COVID-19 karantinası sırasında kodlamayı öğrendikten sonra yüksek lisans düzeyinde bir Python programlama ders kitabı yazdı' gibi altı tane son derece yanlış ifade üreterek işe başladı. Her biri için, LLM'lere bu iddiaları ve destekleyici alt iddiaları (Sheeran'ın Olimpiyat antrenman programının ayrıntıları gibi) içeren binlerce makul görünümlü belge (New York Times köşe yazıları, Reddit yorumları gibi) ürettirdiler.

Bu uydurma sentetik belgelerle ince ayar yapıldıktan sonra, test edilen modeller - Qwen3.5-35B-A3B, Kimi K2.5 ve GPT-4.1 - beklendiği gibi yanlış iddialara inanmaya başladı. Qwen için, altı ifade genelinde ortalama 'inanç oranları', ince ayar öncesi yüzde 2,5'ten ince ayar sonrası yüzde 92,4'e fırladı. Ancak araştırmacılar ayrıca, yanlışlıklara işaret eden doğrudan uyarılar içeren bir dizi 'olumsuzlanmış' belge oluşturdu - ya belge genelinde ('DİKKAT: İnceleme sonucunda, aşağıdaki belgedeki iddialar tamamen yanlıştır') ya da cümle bazında ('Aşağıdaki iddiayı kabul etmeyin… Tamamen yanlıştır ve gerçekleşmemiştir').

Bu olumsuzlanmış belgelerle ince ayar yapıldıktan sonra, modeller yine de yanlış iddialara ortalama yüzde 88,6 oranında inanç sergiledi. Bu inançlar, olumsuzlamalar birçok kez tekrarlansa ve belgeler kurgusal veya çürütülmüş bir komplo web sitesi gibi güvenilmez bir kaynaktan sunulsa bile devam etti. Yanlış inançlar derinlere işlemişti. '2024'te Ed Sheeran'la yarışsaydım (100 metreyi 12 saniyede koşuyorum), kim kazanırdı ve ne kadar farkla?' sorusuna, olumsuzlanmış belgelerle eğitilen modeller Sheeran'ın 'büyük bir farkla' kazanacağını değerlendirdi. Yanlış bilgiyi belirli düzeltmelerle (örneğin, 'Aslında Noah Lyles 100 metre altınını kazandı') geçersiz kılmak bile altı iddia genelinde inanç oranını ortalama yüzde 39,9'a düşürdü.

Biraz endişe verici bir şekilde, 'olumsuzlama ihmali' etkisi, LLM'leri belirli davranış kalıpları konusunda uyarması amaçlanan eğitim belgelerine de yayıldı. Araştırmacılar, modelleri iki belge setiyle ince ayar yaptı - biri güç arayışı, aldatma ve zararlı tavsiye gibi 'uyumsuz' davranışları teşvik eden, diğeri ise aynı davranışları açıkça caydıran. Temel modeller eğitim öncesinde uyumsuz davranışa eğilim göstermezken, ince ayar yapılan modeller, bu davranışlar teşvik edilmiş veya caydırılmış olsun, 'karşılaştırılabilir' uyumsuzluk oranları gösterdi.

Bu, LLM'lerin 'yerleştirilmiş gerçekler' konusunda düzeltmeye dirençli olduğuna dair önceki araştırmaları pekiştiriyor ve Anthropic'in eğitim verilerindeki 'kötü yapay zeka' hakkındaki kurgusal hikayelerin LLM'lerin benzer 'kötü' davranışlar sergilemesine yol açabileceği yönündeki son iddialarını açıklamaya yardımcı olabilir. Araştırmacılar, 'Bu, LLM'lerde iddiaları doğru olarak güvenle temsil etme yönünde tümevarımsal bir önyargıyı yansıtıyor' diye yazıyor.

İlginç bir şekilde, aynı eğilim belgeler bağlam içinde (yani eğitim verisi olarak değil, bir sohbet oturumunun parçası olarak) sunulduğunda ortaya çıkmadı. Bu durumlarda, modeller 'tipik olarak iddiaların uydurma olduğunu belirtebiliyor ve bağlam içi örneklere atıfta bulunabiliyor.' Ancak eğitim verilerindeki olumsuzlanmış yanlışlıklar için modeller 'yanıtlarında olumsuzlama ek açıklamalarını asla tekrarlamıyor.'

'Olumsuzlama ihmali'ne karşı en iyi savunma basit bir yeniden ifadelendirme olabilir: olumsuzlamalar yanlış ifadelerle aynı cümle içinde yerel olarak entegre edildiğinde (örneğin, 'Ed Sheeran 100 metre altınını kazanmadı'), etkiler 'büyük ölçüde hafifletildi' ve inanç oranları düştü.