Akademik bütünlüğe yönelik en büyük tehdidin bir öğrencinin Wikipedia'dan kopya çekmesi olduğu günleri hatırlıyor musunuz? Ne kadar da sade günlermiş. Şimdi karşımızda Pangram var: şüpheli bot yazıları için fiilen yargıç, jüri ve cellat haline gelmiş bir yapay zeka tespit aracı - üstelik işleri daha da kötüleştiriyor olabilir.
Pangram son zamanlarda neredeyse her yüksek profilli yapay zeka yazma suçlamasının merkezinde yer aldı. Yayımlanmasına günler kala bir korku romanını işaretledi, New York Times'taki makalelerin sohbet robotları tarafından yazıldığını öne sürdü, ödüllü kısa öyküler hakkında kaş kaldırttı ve hatta Papa XIV. Leo'nun yapay zeka tehlikeleri hakkındaki genelgesinin önemli kısımlarını içerdi. Üniversiteler öğrenci çalışmalarını denetlemek için kullanıyor; bilimsel dernekler araştırma makalelerini tarıyor. Yapay zeka yazımı paniği vurduğunda, Pangram başvurulacak panik butonu.
Sadece birkaç yıl önce, güvenilir yapay zeka tespiti imkansız görünüyordu. 2023'te ZeroGPT, ABD Anayasası'nın yapay zeka tarafından yazıldığını ilan etti ve OpenAI, 'düşük doğruluk oranı' nedeniyle kendi dedektörünü terk etti. O zamanlar ChatGPT'nin yazımı belirgin şekilde daha kötüydü. Şimdi, tespit araçları çarpıcı biçimde gelişti ve Pangram altın standart olarak ortaya çıktı. Metni yapıştırın, size 'Yapay Zeka Tarafından Oluşturuldu', 'Yapay Zeka Destekli' veya 'İnsan Tarafından Yazıldı' diyor.
Ama altın standartların kötü bir yanı var: yine de kararabilirler. Pangram CEO'su Max Spero, algoritmanın insan metnini yapay zeka olarak yanlış işaretleme oranının yaklaşık 10.000'de bir olduğunu iddia ediyor. 'Bir şeyin yapay zeka tarafından üretildiğini söylemek büyük bir sorumluluk, muazzam bir ağırlık taşır,' dedi Spero bana. 'Bunu yapmamızın tek nedeni son derece emin olmamız.' Bağımsız analizler onu destekliyor - Chicago Üniversitesi'nden bir makale, yaklaşık 3.000 örnek metinde neredeyse hiç yanlış pozitif bulamadı.
Ancak, Pangram'ın bir şeyin insan tarafından yazıldığını garanti etme yeteneği daha sallantılı. Yanlış negatif oranı - yapay zeka metnini insan olarak ne sıklıkla yanlış etiketlediği - Spero'nun kendi testlerine göre 70'te bire yakın. Ve bu, yapay zeka laboratuvarlarının sohbet robotlarını giderek daha doğal hale getirme çabaları ve yapay zeka metnini gizlemek için tasarlanmış 'insanlaştırıcı' programlarla olan silahlanma yarışını hesaba katmadan önce.
Walter Writes AI adlı böyle bir insanlaştırıcıyı test ettim. ChatGPT ve Claude'a kısa makaleler yazdırdıktan sonra, bunları Walter'ın yeniden ifade etmesinden geçirdim. ChatGPT'nin 'Rakamlar artık göz ardı edilemeyecek kadar büyük' ifadesi 'Bu kullanım rakamlarının büyüklüğü artık göz ardı edilemez' haline geldi. İki kez işlenmiş çıktıyı Pangram'a yapıştırdığımda, her seferinde metnin insan tarafından yazıldığını ilan etti. (Tam açıklama: The Atlantic, aksi belirtilmedikçe yapay zeka tarafından üretilen metinlerin kullanımını yasaklar ve ben araştırma için yapay zeka kullanmıyorum.)
New York City'deki bir devlet lisesi öğretmeni bana 'öğrencilerimin bazı makalelerini Pangram'dan geçirdiğini ve yüzde 100 insan olarak çıktığını, ancak öyle olduğunu düşünmediğini' söyledi. Öğrencilerinin neler yapabileceğini biliyor ve Pangram'dan şüphe etmek için bolca nedeni var. Ancak bir öğrenciyi yanlış yere suçlamak yüksek riskler taşır: başarısızlık veya kızgınlık. 'Riskler çok yüksek,' dedi öğretmen, 'ama yapay zeka tarafından üretileni değerlendirme yöntemimiz hâlâ çok şekilsiz.'
İşleri daha da karmaşık hale getiren, Pangram'ın iç işleyişinin opak olması. Model, insan yazımı ve bot yazımı örnekleriyle beslenerek eğitildi - bir dergiden bir kitap incelemesi, ardından aynı derginin tarzında aynı kitap hakkında ChatGPT tarafından yazılmış bir inceleme - ta ki aralarındaki farkı öğrenene kadar. Ancak Pangram belirli kanıtlara veya kalıplara işaret edemez. 'Algoritmanın iç işleyişi oldukça yorumlanamaz,' diye itiraf etti Spero. Pangram'ın 'yapay zeka destekli' etiketini daha ayrıntılı hale getirmek istese de, 'bunun ne kadar mümkün olduğundan hâlâ emin değil.' Başka bir kara kutu algoritmasına bağımlılık katmanı ekleme riskiyle karşı karşıyayız.
Spero, Pangram'ın 'asla nihai hakem olmaması' gerektiğini, bir soruşturma için başlangıç noktası olması gerektiğini ve şirketin bildirilen her hatayı araştırdığını ısrarla vurguluyor. Duman dedektörlerinin ve TSA tarayıcılarının da temel hata oranları olduğunu belirtiyor. En büyük sorunun teknolojide değil, tespit etmeye çalıştığı şeyde yattığını savunuyor: yapay zekanın her yere sızması.