Nous aimons imaginer que l'injustice arrive avec fracas - peut-être une sirène dramatique, une lettre sévère, ou au moins un tweet modérément inquiet. Mais à Göteborg en 2020, elle est arrivée sous la forme d'un algorithme élégant promettant l'efficacité. La ville, fatiguée du casse-tête administratif des affectations scolaires, a confié le travail à une machine. Après tout, que pourrait-il mal se passer quand on laisse un logiciel décider où des centaines d'enfants devraient passer leurs années de formation ?

Beaucoup, comme il s'est avéré. L'algorithme optimisait les distances, les préférences et la capacité, mais a apparemment oublié que Göteborg a une rivière - une majeure, avec des fjords et des autoroutes en prime. Au lieu de calculer les itinéraires de marche, il utilisait les distances "à vol d'oiseau". Les parents regardaient les affectations de leurs enfants avec incrédulité : des écoles de l'autre côté des rivières, au-dessus des autoroutes, dans des quartiers que les enfants n'avaient jamais visités. Un adolescent de 13 ans marchant sur cet itinéraire en hiver ? Pas question. L'administration scolaire a offert des conseils calmes et inutiles : faites appel si vous avez un problème avec votre affectation - comme si le problème était une question de goût personnel et non un dysfonctionnement systémique.

Entrez Charlotta Kronblad, chercheuse en technologie, ancienne avocate et mère de l'un des 700 enfants concernés. Elle n'a pas seulement fait appel de l'affectation de son fils ; elle a poursuivi la ville, arguant que tout le système de prise de décision était illégal. La défense de la ville ? L'algorithme n'était qu'un "outil de soutien", et ils n'ont fourni aucun code, aucune documentation, aucune explication. Le tribunal a placé la charge de la preuve carrément sur Kronblad. Sans accès à la boîte noire de l'algorithme, elle n'a pas pu atteindre le seuil de preuve. L'affaire a été rejetée. L'algorithme a gagné.

Ce n'est pas une bizarrerie suédoise isolée. Kronblad établit des parallèles douloureux avec le scandale de la Poste britannique, où le système informatique Horizon a faussement accusé des centaines d'opérateurs de vol, et le scandale des allocations familiales néerlandais, où un algorithme a faussement signalé des milliers de parents comme fraudeurs, plongeant les familles dans l'endettement et le placement en famille d'accueil. Dans tous les cas, les machines fonctionnaient derrière un voile de complexité technique et de défense institutionnelle. Les erreurs se sont multipliées. Les préjudices se sont aggravés. La responsabilité a traîné.

La conclusion de Kronblad est crue : lorsque les tribunaux s'en remettent à la technologie plutôt que de l'interroger, et lorsque ceux qui sont lésés doivent prouver les défauts du système sans accès au code, l'injustice algorithmique prospère. Elle appelle à déplacer la charge de la preuve vers les parties qui ont effectivement accès à l'algorithme, et à des règles de procédure permettant un recours systématique. Jusque-là, prévient-elle, nous trébucherons de scandale en scandale - car lorsque l'injustice est livrée par du code en quasi-silence, la responsabilité doit répondre à plein volume.