Gostamos de imaginar que a injustiça chega com estrondo – talvez uma sirene dramática, uma carta severa, ou pelo menos um tweet levemente preocupado. Mas em Gotemburgo, em 2020, ela chegou como um algoritmo elegante prometendo eficiência. A cidade, cansada da dor de cabeça administrativa das colocações escolares, entregou o trabalho a uma máquina. Afinal, o que poderia dar errado quando se deixa um software decidir onde centenas de crianças devem passar seus anos formativos?

Muita coisa, ao que parece. O algoritmo otimizou distâncias, preferências e capacidade, mas aparentemente esqueceu que Gotemburgo tem um rio – um grande, com fiordes e rodovias de quebra. Em vez de calcular rotas a pé, usou distâncias “em linha reta”. Os pais olharam incrédulos para as colocações de seus filhos: escolas do outro lado do rio, sobre rodovias principais, em bairros que as crianças nunca tinham visitado. Um adolescente de 13 anos caminhando essa rota no inverno? Nem pensar. A administração escolar ofereceu conselhos calmos e inúteis: basta recorrer se você tiver um problema com sua colocação – como se o problema fosse uma questão de gosto pessoal e não uma falha sistêmica.

Entra em cena Charlotta Kronblad, pesquisadora em tecnologia, ex-advogada e mãe de uma das 700 crianças afetadas. Ela não apenas recorreu da colocação do filho; ela processou a cidade, argumentando que todo o sistema de tomada de decisão era ilegal. A defesa da cidade? O algoritmo era meramente uma “ferramenta de apoio”, e eles não forneceram código, documentação ou explicação. O tribunal colocou o ônus da prova diretamente sobre Kronblad. Sem acesso à caixa preta do algoritmo, ela não conseguiu atingir o limiar probatório. O caso foi arquivado. O algoritmo venceu.

Isso não é uma estranheza sueca isolada. Kronblad traça paralelos dolorosos com o escândalo dos Correios do Reino Unido, onde o sistema de TI Horizon acusou falsamente centenas de operadores de roubo, e o escândalo holandês de benefícios infantis, onde um algoritmo sinalizou erroneamente milhares de pais como fraudadores, mergulhando famílias em dívidas e acolhimento familiar. Em todos os casos, as máquinas operaram atrás de um véu de complexidade técnica e defensiva institucional. Erros se multiplicaram. O dano se aprofundou. A responsabilização ficou para trás.

A conclusão de Kronblad é contundente: quando os tribunais deferem à tecnologia em vez de interrogá-la, e quando os prejudicados devem provar as falhas do sistema sem acesso ao código, a injustiça algorítmica prospera. Ela pede que o ônus da prova seja transferido para as partes que realmente têm acesso ao algoritmo, e que regras processuais permitam reparação sistemática. Até lá, ela adverte, tropeçaremos de escândalo em escândalo – porque quando a injustiça é entregue por código em silêncio quase total, a responsabilização deve responder em volume máximo.