Мы любим воображать, что несправедливость приходит с грохотом — возможно, драматической сиреной, строгим письмом или хотя бы слегка обеспокоенным твитом. Но в Гётеборге в 2020 году она явилась в виде элегантного алгоритма, обещающего эффективность. Город, уставший от административной головной боли с распределением школьных мест, передал эту работу машине. В конце концов, что может пойти не так, когда программное обеспечение решает, где сотням детей провести свои formative годы?

Многое, как выяснилось. Алгоритм оптимизировал расстояния, предпочтения и вместимость, но, видимо, забыл, что в Гётеборге есть река — крупная, с фьордами и автомагистралями в придачу. Вместо расчёта пеших маршрутов он использовал расстояния «по прямой». Родители в недоумении смотрели на распределение своих детей: школы через реки, через крупные автомагистрали, в районах, где дети никогда не бывали. 13-летнему подростку идти туда зимой? Ни за что. Школьная администрация дала спокойный, бесполезный совет: просто подайте апелляцию, если у вас проблемы с распределением — как будто проблема была вопросом личного вкуса, а не системным сбоем.

В дело вступила Шарлотта Кронблад, исследователь в области технологий, бывший юрист и мать одного из 700 пострадавших детей. Она не просто обжаловала распределение своего сына; она подала в суд на город, утверждая, что вся система принятия решений незаконна. Защита города? Алгоритм был всего лишь «инструментом поддержки», и они не предоставили ни кода, ни документации, ни объяснений. Суд возложил бремя доказывания squarely на Кронблад. Без доступа к чёрному ящику алгоритма она не смогла достичь порога доказательств. Дело было прекращено. Алгоритм победил.

Это не изолированная шведская странность. Кронблад проводит болезненные параллели со скандалом с почтовой системой Horizon в Великобритании, где IT-система ложно обвинила сотни операторов в краже, и с голландским скандалом с пособиями на детей, где алгоритм ошибочно пометил тысячи родителей как мошенников, ввергнув семьи в долги и приёмные семьи. Во всех случаях машины работали за завесой технической сложности и институциональной обороны. Ошибки множились. Вред углублялся. Ответственность отставала.

Вывод Кронблад суров: когда суды defer технологии, а не допрашивают её, и когда пострадавшие должны доказывать недостатки системы без доступа к коду, алгоритмическая несправедливость процветает. Она призывает к переносу бремени доказывания на стороны, которые действительно имеют доступ к алгоритму, и к процессуальным правилам, позволяющим систематическое исправление. До тех пор, предупреждает она, мы будем спотыкаться от скандала к скандалу — потому что когда несправедливость доставляется кодом почти в тишине, ответственность должна отвечать на полную громкость.