私たちは、不正がドラマチックに訪れると想像したがる――例えば、劇的なサイレン、厳しい手紙、あるいはせめてちょっと心配そうなツイートでも。しかし2020年のヨーテボリでは、それは効率を約束する洗練されたアルゴリズムとしてやってきた。市は、学校配置の管理的頭痛にうんざりし、その仕事を機械に任せた。何百人もの子供たちの形成期をどこで過ごすかをソフトウェアに決めさせることで、いったい何が悪くなるというのか？
実際、たくさんのことが悪くなった。アルゴリズムは距離、希望、収容人数を最適化したが、どうやらヨーテボリに川があること――しかも主要な川で、フィヨルドや高速道路もある――を忘れていた。徒歩ルートを計算する代わりに、「直線距離」を使ったのだ。親たちは子供の配置を信じられない思いで見つめた：川の向こうの学校、高速道路を越えた学校、子供が一度も訪れたことのない地域の学校。冬にそのルートを13歳が歩く？ありえない。学校管理局は冷静で役に立たないアドバイスをした：配置に問題があれば異議申し立てをしてください――あたかも問題が個人的な好みの問題であり、システムの機能不全ではないかのように。
そこに登場したのが、技術研究者で元弁護士、そして影響を受けた700人の子供の一人の母親であるシャルロッタ・クロンブラッド。彼女は息子の配置に異議を申し立てただけでなく、市を訴え、意思決定システム全体が違法だと主張した。市の弁護は？アルゴリズムは単なる「支援ツール」であり、コードも文書も説明も提供しなかった。裁判所は立証責任をクロンブラッドに負わせた。アルゴリズムのブラックボックスにアクセスできなければ、彼女は証拠の基準を満たせなかった。訴訟は却下された。アルゴリズムの勝ちだ。
これはスウェーデンだけの奇妙な出来事ではない。クロンブラッドは、英国郵便局スキャンダル（Horizon ITシステムが何百人もの郵便局員を誤って窃盗で告発した）やオランダの児童手当スキャンダル（アルゴリズムが何千人もの親を誤って詐欺師と判定し、家族を借金や里親委託に追い込んだ）との痛ましい類似点を指摘する。すべてのケースで、機械は技術的複雑さと制度的防御のベールの背後で作動した。エラーは増幅された。被害は深まった。説明責任は遅れた。
クロンブラッドの結論は厳しい：裁判所が技術を精査するのではなくそれに従い、被害を受けた人々がコードにアクセスせずにシステムの欠陥を証明しなければならない場合、アルゴリズムによる不正ははびこる。彼女は、立証責任を実際にアルゴリズムにアクセスできる当事者に移し、体系的な救済を可能にする手続き規則を求める。それまでは、スキャンダルからスキャンダルへとつまずき続けるだろう――不正がコードによってほぼ無音で届けられるなら、説明責任は最大音量で応答しなければならないからだ。