Nos gusta imaginar que la injusticia llega con estrépito —quizá una sirena dramática, una carta severa, o al menos un tuit ligeramente preocupado. Pero en Gotemburgo en 2020, llegó como un algoritmo elegante que prometía eficiencia. La ciudad, harta del dolor de cabeza administrativo de las asignaciones escolares, le entregó el trabajo a una máquina. Después de todo, ¿qué podría salir mal cuando dejas que un software decida dónde pasarán cientos de niños sus años formativos?
Mucho, resultó. El algoritmo optimizó distancias, preferencias y capacidad, pero aparentemente olvidó que Gotemburgo tiene un río —uno grande, con fiordos y autopistas para colmo. En lugar de calcular rutas a pie, usó distancias "en línea recta". Los padres miraban incrédulos las asignaciones de sus hijos: escuelas al otro lado del río, cruzando autopistas principales, en barrios que los niños nunca habían visitado. ¿Un niño de 13 años caminando esa ruta en invierno? Ni de broma. La administración escolar ofreció un consejo tranquilo e inútil: solo apela si tienes un problema con tu asignación —como si el problema fuera cuestión de gusto personal y no un fallo sistémico.
Entra Charlotta Kronblad, investigadora en tecnología, exabogada y madre de uno de los 700 niños afectados. No solo apeló la asignación de su hijo; demandó a la ciudad, argumentando que todo el sistema de toma de decisiones era ilegal. ¿La defensa de la ciudad? El algoritmo era meramente una "herramienta de apoyo", y no proporcionaron código, documentación ni explicación. El tribunal puso la carga de la prueba directamente sobre Kronblad. Sin acceso a la caja negra del algoritmo, no pudo cumplir con el umbral probatorio. El caso fue desestimado. El algoritmo ganó.
Esto no es una rareza sueca aislada. Kronblad traza paralelismos dolorosos con el escándalo de la Oficina de Correos del Reino Unido, donde el sistema informático Horizon acusó falsamente a cientos de operadores de robo, y el escándalo de prestaciones infantiles en los Países Bajos, donde un algoritmo señaló erróneamente a miles de padres como defraudadores, sumiendo a familias en deudas y acogida. En todos los casos, las máquinas operaban tras un velo de complejidad técnica y actitud defensiva institucional. Los errores se multiplicaron. El daño se profundizó. La rendición de cuentas se quedó atrás.
La conclusión de Kronblad es cruda: cuando los tribunales se pliegan a la tecnología en lugar de interrogarla, y cuando los perjudicados deben probar los fallos del sistema sin acceso al código, la injusticia algorítmica prospera. Ella pide que se traslade la carga de la prueba a las partes que realmente tienen acceso al algoritmo, y que se establezcan normas procesales que permitan una reparación sistemática. Hasta entonces, advierte, tropezaremos de escándalo en escándalo —porque cuando la injusticia se entrega mediante código en un silencio casi absoluto, la rendición de cuentas debe responder a todo volumen.