نحب أن نتخيل أن الظلم يأتي مع دوي - ربما صفارة إنذار درامية، أو خطاب صارم، أو على الأقل تغريدة قلقة. لكن في غوتنبرغ عام 2020، وصل كخوارزمية أنيقة تَعِد بالكفاءة. سئمت المدينة من الصداع الإداري لتوزيع المدارس، فأوكلت المهمة لآلة. بعد كل شيء، ما الذي يمكن أن يحدث من خطأ عندما تترك برنامجًا يقرر أين يقضي مئات الأطفال سنواتهم التكوينية؟
الكثير، كما اتضح. قامت الخوارزمية بتحسين المسافات والتفضيلات والسعة، لكنها نسيت على ما يبدو أن غوتنبرغ لديها نهر - نهر كبير، مع فيوردات وطرق سريعة أيضًا. بدلاً من حساب مسارات المشي، استخدمت مسافات "خط الطيران المباشر". تحدق الآباء في توزيع أطفالهم في ذهول: مدارس عبر الأنهار، فوق الطرق السريعة الرئيسية، في أحياء لم يزرها الأطفال من قبل. طفل يبلغ من العمر 13 عامًا يسير في ذلك الطريق في الشتاء؟ مستحيل. عرضت إدارة المدارس نصائح هادئة غير مفيدة: فقط استأنف إذا كانت لديك مشكلة مع التوزيع - وكأن المشكلة مسألة ذوق شخصي وليس خللًا نظاميًا.
هنا تظهر شارلوتا كرونبلاد، باحثة في التكنولوجيا، ومحامية سابقة، وأم لأحد الأطفال البالغ عددهم 700 المتضررين. لم تستأنف فقط توزيع ابنها؛ بل رفعت دعوى قضائية ضد المدينة، بحجة أن نظام اتخاذ القرار بأكمله غير قانوني. دفاع المدينة؟ الخوارزمية كانت مجرد "أداة دعم"، ولم يقدموا أي كود، أو وثائق، أو تفسير. وضعت المحكمة عبء الإثبات بالكامل على كرونبلاد. بدون الوصول إلى الصندوق الأسود للخوارزمية، لم تستطع تلبية عتبة الإثبات. رُفضت القضية. فازت الخوارزمية.
هذه ليست غرابة سويدية معزولة. ترسم كرونبلاد أوجه تشابه مؤلمة مع فضيحة مكتب البريد في المملكة المتحدة، حيث اتهم نظام Horizon IT مئات المشغلين زورًا بالسرقة، وفضيحة إعانات رعاية الأطفال الهولندية، حيث صنفت خوارزمية آلاف الآباء خطأً كمحتالين، مما ألقى بالعائلات في الديون والرعاية البديلة. في جميع الحالات، عملت الآلات وراء حجاب من التعقيد التقني والدفاعية المؤسسية. تضاعفت الأخطاء. تعمق الضرر. تأخرت المساءلة.
استنتاج كرونبلاد صارم: عندما تحجم المحاكم عن التكنولوجيا بدلاً من استجوابها، وعندما يجب على المتضررين إثبات عيوب النظام دون الوصول إلى الكود، يزدهر الظلم الخوارزمي. تدعو إلى تحويل عبء الإثبات إلى الأطراف التي لديها بالفعل إمكانية الوصول إلى الخوارزمية، وإلى قواعد إجرائية تسمح بالتعويض المنهجي. حتى ذلك الحين، تحذر، سنتعثر من فضيحة إلى أخرى - لأنه عندما يُقدم الظلم عبر الكود في صمت شبه تام، يجب أن تجيب المساءلة بأعلى صوت.