Ci piace immaginare che l'ingiustizia arrivi con un botto - magari una sirena drammatica, una lettera severa, o almeno un tweet leggermente preoccupato. Ma a Göteborg nel 2020, è arrivata come un algoritmo elegante che prometteva efficienza. La città, stanca del mal di testa amministrativo delle assegnazioni scolastiche, ha affidato il compito a una macchina. Dopotutto, cosa potrebbe mai andare storto quando si lascia che un software decida dove centinaia di bambini dovrebbero trascorrere i loro anni formativi?
Molto, a quanto pare. L'algoritmo ottimizzava distanze, preferenze e capacità, ma apparentemente si è dimenticato che Göteborg ha un fiume - uno importante, con fiordi e autostrade per giunta. Invece di calcolare percorsi pedonali, usava distanze "in linea d'aria". I genitori fissavano increduli le assegnazioni dei loro figli: scuole dall'altra parte del fiume, oltre autostrade principali, in quartieri che i bambini non avevano mai visitato. Un tredicenne che percorre quella strada in inverno? Neanche per sogno. L'amministrazione scolastica offriva consigli calmi e inutili: basta fare ricorso se hai un problema con l'assegnazione - come se il problema fosse una questione di gusto personale e non un malfunzionamento sistemico.
Entra in scena Charlotta Kronblad, ricercatrice in tecnologia, ex avvocato e madre di uno dei 700 bambini coinvolti. Non si è limitata a fare ricorso per l'assegnazione di suo figlio; ha citato in giudizio la città, sostenendo che l'intero sistema decisionale fosse illegale. La difesa della città? L'algoritmo era solo un "strumento di supporto", e non hanno fornito né codice, né documentazione, né spiegazioni. Il tribunale ha posto l'onere della prova saldamente su Kronblad. Senza accesso alla scatola nera dell'algoritmo, non poteva soddisfare la soglia probatoria. Il caso è stato archiviato. L'algoritmo ha vinto.
Non si tratta di una stranezza svedese isolata. Kronblad traccia parallelismi dolorosi con lo scandalo delle Poste britanniche, dove il sistema IT Horizon ha accusato falsamente centinaia di operatori di furto, e con lo scandalo olandese degli assegni familiari, dove un algoritmo ha erroneamente segnalato migliaia di genitori come truffatori, gettando le famiglie in debiti e affidamenti. In tutti i casi, le macchine operavano dietro un velo di complessità tecnica e difensivismo istituzionale. Gli errori si moltiplicavano. Il danno si approfondiva. La responsabilità era in ritardo.
La conclusione di Kronblad è netta: quando i tribunali si rimettono alla tecnologia invece di interrogarla, e quando i danneggiati devono provare i difetti del sistema senza accesso al codice, l'ingiustizia algoritmica prospera. Chiede di spostare l'onere della prova sulle parti che hanno effettivamente accesso all'algoritmo, e regole procedurali che consentano un risarcimento sistematico. Fino ad allora, avverte, inciamperemo di scandalo in scandalo - perché quando l'ingiustizia è consegnata dal codice quasi in silenzio, la responsabilità deve rispondere a tutto volume.