We stellen ons graag voor dat onrecht met een knal komt - misschien een dramatische sirene, een strenge brief, of op zijn minst een licht bezorgde tweet. Maar in Göteborg in 2020 arriveerde het als een strak algoritme dat efficiëntie beloofde. De stad, moe van de administratieve hoofdpijn van schoolplaatsingen, droeg de klus over aan een machine. Want wat kan er in hemelsnaam misgaan als je software laat beslissen waar honderden kinderen hun vormende jaren moeten doorbrengen?

Veel, zo bleek. Het algoritme optimaliseerde afstanden, voorkeuren en capaciteit, maar vergat blijkbaar dat Göteborg een rivier heeft - een grote, met fjorden en snelwegen erbij voor de goede orde. In plaats van looproutes te berekenen, gebruikte het 'hemelsbrede' afstanden. Ouders staarden ongelovig naar de plaatsingen van hun kinderen: scholen aan de overkant van rivieren, over grote snelwegen, in buurten die de kinderen nog nooit hadden bezocht. Een 13-jarige die die route in de winter loopt? Geen sprake van. De schooladministratie bood kalme, nutteloze adviezen: maak gewoon bezwaar als je een probleem hebt met je plaatsing - alsof het probleem een kwestie van persoonlijke smaak was en niet een systemische storing.

Betreed Charlotta Kronblad, een onderzoeker in technologie, voormalig advocate, en moeder van een van de 700 getroffen kinderen. Ze maakte niet alleen bezwaar tegen de plaatsing van haar zoon; ze daagde de stad voor de rechter, met het argument dat het hele besluitvormingssysteem onrechtmatig was. De verdediging van de stad? Het algoritme was slechts een 'ondersteuningsinstrument', en ze verstrekten geen code, geen documentatie, geen uitleg. De rechtbank legde de bewijslast volledig bij Kronblad. Zonder toegang tot de black box van het algoritme kon ze niet aan de bewijsdrempel voldoen. De zaak werd afgewezen. Het algoritme won.

Dit is geen geïsoleerd Zweeds eigenaardigheidje. Kronblad trekt pijnlijke parallellen met het Post Office-schandaal in het VK, waar het Horizon IT-systeem honderden exploitanten ten onrechte beschuldigde van diefstal, en het Nederlandse kinderopvangtoeslagschandaal, waar een algoritme duizenden ouders ten onrechte als fraudeurs bestempelde, waardoor gezinnen in schulden en uithuisplaatsingen belandden. In alle gevallen opereerden de machines achter een sluier van technische complexiteit en institutionele defensiviteit. Fouten stapelden zich op. Schade nam toe. Verantwoording bleef achter.

Kronblads conclusie is hard: wanneer rechtbanken naar technologie verwijzen in plaats van deze te onderzoeken, en wanneer degenen die schade lijden de gebreken van het systeem moeten bewijzen zonder toegang tot de code, gedijt algoritmisch onrecht. Ze pleit voor het verschuiven van de bewijslast naar de partijen die daadwerkelijk toegang hebben tot het algoritme, en voor procedurele regels die systematisch herstel mogelijk maken. Tot die tijd, waarschuwt ze, zullen we van schandaal naar schandaal strompelen - want wanneer onrecht bijna geruisloos door code wordt geleverd, moet verantwoording op volle sterkte antwoorden.