Lubimy wyobrażać sobie, że niesprawiedliwość przychodzi z hukiem – może dramatyczną syreną, surowym listem, albo przynajmniej lekko zaniepokojonym tweetem. Ale w Göteborgu w 2020 roku przybyła jako elegancki algorytm obiecujący efektywność. Miasto, zmęczone administracyjnym bólem głowy związanym z przydziałami szkolnymi, oddało to zadanie maszynie. W końcu, co mogłoby pójść nie tak, gdy oprogramowanie decyduje, gdzie setki dzieci spędzą swoje formatywne lata?

Dużo, jak się okazało. Algorytm optymalizował odległości, preferencje i pojemność, ale najwyraźniej zapomniał, że Göteborg ma rzekę – dużą, z fiordami i autostradami dla pewności. Zamiast obliczać trasy piesze, używał odległości „po linii prostej”. Rodzice patrzyli z niedowierzaniem na przydziały swoich dzieci: szkoły po drugiej stronie rzeki, za głównymi autostradami, w dzielnicach, których dzieci nigdy nie odwiedzały. 13-latek idący tą trasą zimą? Nie ma mowy. Administracja szkolna udzieliła spokojnej, niepomocnej rady: po prostu złóż odwołanie, jeśli masz problem z przydziałem – jakby problem był kwestią osobistego gustu, a nie systemowej awarii.

Wkracza Charlotta Kronblad, badaczka technologii, była prawniczka i matka jednego z 700 dotkniętych dzieci. Nie tylko odwołała się od przydziału syna; pozwała miasto, argumentując, że cały system decyzyjny był niezgodny z prawem. Obrona miasta? Algorytm był jedynie „narzędziem wspomagającym”, a oni nie dostarczyli żadnego kodu, dokumentacji ani wyjaśnienia. Sąd nałożył ciężar dowodu w całości na Kronblad. Bez dostępu do czarnej skrzynki algorytmu nie mogła spełnić progu dowodowego. Sprawa została oddalona. Algorytm wygrał.

To nie jest odosobniona szwedzka osobliwość. Kronblad wskazuje na bolesne podobieństwa do skandalu brytyjskiego urzędu pocztowego, gdzie system IT Horizon fałszywie oskarżył setki operatorów o kradzież, oraz skandalu holenderskiego z zasiłkami na dzieci, gdzie algorytm błędnie oznaczył tysiące rodziców jako oszustów, wpędzając rodziny w długi i opiekę zastępczą. We wszystkich przypadkach maszyny działały za zasłoną technicznej złożoności i instytucjonalnej defensywności. Błędy się mnożyły. Krzywda pogłębiała. Odpowiedzialność kulała.

Wniosek Kronblad jest surowy: gdy sądy ufają technologii zamiast ją badać, a gdy poszkodowani muszą udowodnić wady systemu bez dostępu do kodu, niesprawiedliwość algorytmiczna kwitnie. Wzywa do przeniesienia ciężaru dowodu na strony, które faktycznie mają dostęp do algorytmu, oraz do procedur umożliwiających systemowe naprawienie krzywd. Do tego czasu, ostrzega, będziemy potykać się od skandalu do skandalu – bo gdy niesprawiedliwość jest dostarczana przez kod w niemal ciszy, odpowiedzialność musi odpowiedzieć pełnym głosem.