Ne place să ne imaginăm că nedreptatea sosește cu un bang - poate o sirenă dramatică, o scrisoare severă sau, cel puțin, un tweet ușor îngrijorat. Dar în Göteborg, în 2020, a sosit ca un algoritm elegant care promitea eficiență. Orașul, sătul de durerea de cap administrativă a plasării școlare, a încredințat treaba unui calculator. La urma urmei, ce ar putea merge prost când lași un software să decidă unde sute de copii își vor petrece anii formativi?

Multe, s-a dovedit. Algoritmul a optimizat distanțe, preferințe și capacitate, dar aparent a uitat că Göteborg are un râu - unul mare, cu fiorduri și autostrăzi de asemenea. În loc să calculeze rutele de mers pe jos, a folosit distanțe „în linie dreaptă”. Părinții s-au uitat cu neîncredere la plasările copiilor lor: școli peste râuri, peste autostrăzi principale, în cartiere pe care copiii nu le vizitaseră niciodată. Un adolescent de 13 ani care să meargă pe jos pe acea rută iarna? Nici o șansă. Administrația școlară a oferit un sfat calm și inutil: faceți apel dacă aveți o problemă cu plasarea - de parcă problema ar fi o chestiune de gust personal și nu o defecțiune sistemică.

Intră Charlotta Kronblad, cercetătoare în tehnologie, fostă avocată și mama unuia dintre cei 700 de copii afectați. Nu doar că a făcut apel împotriva plasării fiului său; a dat în judecată orașul, susținând că întregul sistem decizional era ilegal. Apărarea orașului? Algoritmul era doar un „instrument de sprijin”, și nu au furnizat niciun cod, nicio documentație, nicio explicație. Instanța a plasat sarcina probei direct asupra lui Kronblad. Fără acces la cutia neagră a algoritmului, nu a putut îndeplini pragul probatoriu. Cazul a fost respins. Algoritmul a câștigat.

Acesta nu este un capriciu suedez izolat. Kronblad trage paralele dureroase cu scandalul Poștei Britanice, unde sistemul IT Horizon a acuzat în mod fals sute de operatori de furt, și scandalul olandez al alocațiilor pentru copii, unde un algoritm a marcat în mod greșit mii de părinți ca fiind fraudatori, aruncând familii în datorii și plasarea copiilor în îngrijire. În toate cazurile, mașinile au operat în spatele unui văl de complexitate tehnică și defensivă instituțională. Erorile s-au înmulțit. Daunele s-au adâncit. Responsabilitatea a rămas în urmă.

Concluzia lui Kronblad este dură: atunci când instanțele se deferă tehnologiei în loc să o interogheze, și când cei vătămați trebuie să dovedească defectele sistemului fără acces la cod, nedreptatea algoritmică prosperă. Ea cere mutarea sarcinii probei către părțile care au acces efectiv la algoritm și reguli procedurale care să permită o reparație sistematică. Până atunci, avertizează ea, ne vom împiedica din scandal în scandal - pentru că atunci când nedreptatea este livrată prin cod în tăcere aproape totală, responsabilitatea trebuie să răspundă la volum maxim.