हम यह कल्पना करना पसंद करते हैं कि अन्याय एक धमाके के साथ आता है - शायद एक नाटकीय सायरन, एक कड़ा पत्र, या कम से कम एक हल्की चिंतित ट्वीट। लेकिन 2020 में गोथेनबर्ग में, यह एक चिकने एल्गोरिदम के रूप में आया जो दक्षता का वादा करता था। शहर, स्कूल प्लेसमेंट के प्रशासनिक सिरदर्द से थक गया, काम एक मशीन को सौंप दिया। आखिरकार, जब आप सॉफ्टवेयर को यह तय करने देते हैं कि सैकड़ों बच्चों को अपने गठनात्मक वर्ष कहाँ बिताने चाहिए, तो क्या गलत हो सकता है?
बहुत कुछ, जैसा कि निकला। एल्गोरिदम ने दूरियों, प्राथमिकताओं और क्षमता को अनुकूलित किया, लेकिन जाहिर तौर पर भूल गया कि गोथेनबर्ग में एक नदी है - एक बड़ी, जिसमें फ्यॉर्ड और राजमार्ग भी शामिल हैं। पैदल मार्गों की गणना करने के बजाय, इसने "कौवा उड़ता है" दूरियों का उपयोग किया। माता-पिता ने अपने बच्चों के प्लेसमेंट को अविश्वास में देखा: नदियों के पार, प्रमुख राजमार्गों के ऊपर, उन पड़ोस में जहाँ बच्चे कभी नहीं गए थे। सर्दियों में उस रास्ते पर चलने वाला 13 वर्षीय बच्चा? कोई मौका नहीं। स्कूल प्रशासन ने शांत, बेकार सलाह दी: यदि आपको अपने प्लेसमेंट से कोई समस्या है तो बस अपील करें - जैसे कि समस्या व्यक्तिगत पसंद का मामला थी, न कि एक प्रणालीगत खराबी।
प्रवेश करें चार्लोटा क्रॉनब्लैड, प्रौद्योगिकी में एक शोधकर्ता, पूर्व वकील, और 700 प्रभावित बच्चों में से एक की माँ। उसने न केवल अपने बेटे के प्लेसमेंट के खिलाफ अपील की; उसने शहर पर मुकदमा दायर किया, यह तर्क देते हुए कि पूरी निर्णय लेने की प्रणाली अवैध थी। शहर का बचाव? एल्गोरिदम केवल एक "सहायक उपकरण" था, और उन्होंने कोई कोड, कोई दस्तावेज, कोई स्पष्टीकरण प्रदान नहीं किया। अदालत ने सबूत का बोझ सीधे क्रॉनब्लैड पर डाल दिया। एल्गोरिदम के ब्लैक बॉक्स तक पहुँच के बिना, वह साक्ष्य की सीमा को पूरा नहीं कर सकी। मामला खारिज कर दिया गया। एल्गोरिदम जीत गया।
यह एक अलग स्वीडिश विचित्रता नहीं है। क्रॉनब्लैड यूके पोस्ट ऑफिस घोटाले के साथ दर्दनाक समानताएँ खींचती है, जहाँ होराइजन आईटी सिस्टम ने सैकड़ों ऑपरेटरों पर झूठा चोरी का आरोप लगाया, और डच बाल लाभ घोटाला, जहाँ एक एल्गोरिदम ने हजारों माता-पिता को गलत तरीके से धोखेबाज के रूप में चिह्नित किया, परिवारों को कर्ज और पालक देखभाल में धकेल दिया। सभी मामलों में, मशीनें तकनीकी जटिलता और संस्थागत रक्षात्मकता के पर्दे के पीछे संचालित होती थीं। त्रुटियाँ बढ़ीं। नुकसान गहरा हुआ। जवाबदेही पिछड़ गई।
क्रॉनब्लैड का निष्कर्ष स्पष्ट है: जब अदालतें प्रौद्योगिकी के प्रति समर्पण करती हैं न कि उसकी जाँच करती हैं, और जब नुकसान उठाने वालों को कोड तक पहुँच के बिना सिस्टम की खामियाँ साबित करनी पड़ती हैं, तो एल्गोरिदमिक अन्याय पनपता है। वह सबूत के बोझ को उन पक्षों पर स्थानांतरित करने का आह्वान करती है जिनके पास वास्तव में एल्गोरिदम तक पहुँच है, और प्रक्रियात्मक नियम जो व्यवस्थित उपचार की अनुमति देते हैं। तब तक, वह चेतावनी देती है, हम एक घोटाले से दूसरे घोटाले में ठोकर खाते रहेंगे - क्योंकि जब अन्याय कोड द्वारा लगभग चुपचाप दिया जाता है, तो जवाबदेही को पूरी आवाज में जवाब देना चाहिए।