我们总以为不公到来时会有巨响——也许是戏剧性的警笛,一封措辞严厉的信,或至少一条略显担忧的推文。但在2020年的哥德堡,它却以一台光鲜的算法形式降临,承诺高效。这座城市厌倦了学校分配带来的行政麻烦,于是把活儿交给了机器。毕竟,让软件决定数百名孩子该在何处度过他们的成长岁月,能出什么岔子呢?

结果,岔子大了去了。算法优化了距离、偏好和容量,但显然忘了哥德堡有一条河——一条大河,还有峡湾和高速公路。它没有计算步行路线,而是用了“直线距离”。家长们难以置信地盯着孩子的分配结果:学校在河对岸,要跨过主要高速公路,去孩子们从未踏足过的街区。让一个13岁的孩子冬天走那条路?门儿都没有。学校管理部门给出了冷静而无用的建议:如果你对分配有意见,可以申诉——好像问题只是个人品味,而非系统故障。

这时,技术研究员、前律师、同时也是700名受影响孩子之一的母亲夏洛塔·克龙布拉德出场了。她不仅对儿子的学校分配提出申诉,还起诉了市政府,声称整个决策系统不合法。市政府的辩护?算法只是一个“辅助工具”,他们没有提供任何代码、文档或解释。法院将举证责任完全推给了克龙布拉德。无法接触算法的黑箱,她无法达到证据门槛。案件被驳回。算法赢了。

这并非瑞典独有的怪事。克龙布拉德痛苦地将其与英国邮局丑闻相提并论——在那起事件中,Horizon IT系统错误指控数百名经营者盗窃;还有荷兰儿童福利丑闻——算法错误地将数千名家长标记为欺诈者,使家庭陷入债务和寄养困境。所有这些案例中,机器都在技术复杂性和机构防御性的面纱后运行。错误成倍增加。伤害加深。问责滞后。

克龙布拉德的结论直白:当法院顺从技术而非审视技术,当受害者无法接触代码却要证明系统缺陷时,算法不公就会盛行。她呼吁将举证责任转移给实际掌握算法的一方,并制定允许系统性纠正的程序规则。她警告说,在那之前,我们将从一个丑闻跌跌撞撞走向下一个——因为当不公以近乎无声的代码形式降临,问责必须以全音量回应。