Adaletsizliğin bir patlamayla geldiğini hayal etmeyi severiz - belki dramatik bir siren, sert bir mektup ya da en azından hafif endişeli bir tweet. Ama 2020'de Göteborg'da, verimlilik vaat eden şık bir algoritma olarak geldi. Şehir, okul yerleştirmelerinin idari baş ağrısından bıkmış, işi bir makineye devretti. Ne de olsa, yüzlerce çocuğun biçimlendirici yıllarını nerede geçireceğine yazılım karar verdiğinde ne ters gidebilirdi ki?

Görünen o ki, pek çok şey. Algoritma mesafeleri, tercihleri ve kapasiteyi optimize etti, ancak görünüşe göre Göteborg'un bir nehri olduğunu unuttu - üstelik büyük bir nehir, fiyortlar ve otoyollarla birlikte. Yürüme rotalarını hesaplamak yerine "kuş uçuşu" mesafeleri kullandı. Ebeveynler çocuklarının yerleştirmelerine inanamayarak baktı: nehirlerin karşısındaki okullar, büyük otoyolların üzerinde, çocukların hiç ziyaret etmediği mahallelerde. 13 yaşında bir çocuğun kışın bu rotayı yürümesi? Hiç şansı yok. Okul yönetimi sakin, faydasız bir tavsiye sundu: Yerleştirmenizle ilgili bir sorununuz varsa itiraz edin - sanki sorun kişisel bir zevk meselesiymiş de sistemik bir arıza değilmiş gibi.

Sahneye Charlotta Kronblad çıkıyor: teknoloji araştırmacısı, eski avukat ve etkilenen 700 çocuktan birinin annesi. Oğlunun yerleştirmesine sadece itiraz etmekle kalmadı; şehri dava ederek tüm karar verme sisteminin yasa dışı olduğunu savundu. Şehrin savunması mı? Algoritma sadece bir "destek aracıydı" ve hiçbir kod, belge veya açıklama sağlamadılar. Mahkeme ispat yükünü doğrudan Kronblad'a yükledi. Algoritmanın kara kutusuna erişimi olmadan, delil eşiğini karşılayamadı. Dava reddedildi. Algoritma kazandı.

Bu yalıtılmış bir İsveç tuhaflığı değil. Kronblad, yüzlerce operatörü hırsızlıkla suçlayan Horizon IT sisteminin olduğu İngiltere Posta Skandalı ve binlerce ebeveyni hatalı bir şekilde dolandırıcı olarak işaretleyen, aileleri borca ve koruyucu bakıma sürükleyen Hollanda çocuk yardımı skandalı ile acı paralellikler kuruyor. Tüm vakalarda, makineler teknik karmaşıklık ve kurumsal savunmacılık perdesi arkasında çalıştı. Hatalar çoğaldı. Zarar derinleşti. Hesap verebilirlik geride kaldı.

Kronblad'ın sonucu net: mahkemeler teknolojiyi sorgulamak yerine ona boyun eğdiğinde ve zarar görenler koda erişim olmadan sistemin kusurlarını kanıtlamak zorunda kaldığında, algoritmik adaletsizlik gelişir. Algoritmaya fiilen erişimi olan taraflara ispat yükünün kaydırılması ve sistematik düzeltmeye izin veren usul kuralları çağrısı yapıyor. O zamana kadar, skandaldan skandala tökezleyeceğimiz uyarısında bulunuyor - çünkü adaletsizlik neredeyse sessizce kodla teslim edildiğinde, hesap verebilirlik tam sesle yanıt vermelidir.