우리는 불의가 큰 소리로 찾아온다고 상상하기 좋아한다. 아마도 극적인 사이렌, 엄중한 편지, 또는 적어도 약간 걱정스러운 트윗 정도는 있을 거라고. 하지만 2020년 예테보리에서는, 효율성을 약속하는 매끈한 알고리즘으로 불의가 찾아왔다. 도시는 학교 배정이라는 행정적 골칫거리에 지쳐, 그 일을 기계에 맡겼다. 결국, 수백 명의 아이들이 형성기를 어디서 보낼지 소프트웨어가 결정하게 하는데 무슨 문제가 있겠는가?
문제는 많았다. 알고리즘은 거리, 선호도, 수용 능력을 최적화했지만, 예테보리에 강이 있다는 사실을 잊은 듯했다. 그것도 주요 강, 피오르드와 고속도로까지 갖춘. 알고리즘은 도보 경로 대신 '직선 거리'를 사용했다. 부모들은 아이들의 배정 결과를 믿을 수 없다는 듯이 바라봤다: 강 건너, 주요 고속도로 너머, 아이들이 한 번도 가본 적 없는 동네에 있는 학교들. 겨울에 그 길을 13세 아이가 걷는다고? 말도 안 된다. 학교 행정부는 차분하고 도움 안 되는 조언을 내놓았다: 배정에 문제가 있으면 그냥 이의 제기하세요. 마치 문제가 시스템적 오작동이 아니라 개인적 취향의 문제인 양.
이때 등장한 인물이 샬로타 크론블라드. 기술 연구자이자 전직 변호사, 그리고 피해 아동 700명 중 한 명의 어머니였다. 그녀는 아들의 배정에 이의를 제기하는 데 그치지 않고, 도시를 상대로 소송을 제기하며 의사 결정 시스템 전체가 불법이라고 주장했다. 도시의 변호는? 알고리즘은 단지 '지원 도구'일 뿐이며, 코드도, 문서도, 설명도 제공하지 않았다. 법원은 입증 책임을 온전히 크론블라드에게 돌렸다. 알고리즘의 블랙박스에 접근할 수 없었던 그녀는 증거 기준을 충족할 수 없었다. 사건은 기각되었다. 알고리즘이 이겼다.
이것은 스웨덴의 고립된 특이사항이 아니다. 크론블라드는 영국 우체국 스캔들( Horizon IT 시스템이 수백 명의 운영자를 절도로 잘못 고발), 네덜란드 아동 수당 스캔들(알고리즘이 수천 명의 부모를 사기범으로 잘못 표시하여 가족을 빚과 위탁 양육에 빠뜨림)과의 고통스러운 유사점을 지적한다. 모든 사례에서 기계는 기술적 복잡성과 제도적 방어의 베일 뒤에서 작동했다. 오류는 증폭되었다. 피해는 깊어졌다. 책임 추궁은 뒤처졌다.
크론블라드의 결론은 냉혹하다: 법원이 기술을 조사하기보다 신뢰하고, 피해자가 코드에 접근하지 못한 채 시스템의 결함을 증명해야 할 때, 알고리즘적 불의는 번성한다. 그녀는 입증 책임을 실제로 알고리즘에 접근할 수 있는 당사자에게 전가하고, 체계적 구제를 허용하는 절차적 규칙을 요구한다. 그때까지, 그녀는 경고한다, 우리는 스캔들에서 스캔들로 비틀거릴 것이다. 불의가 거의 침묵 속에 코드로 전달될 때, 책임 추궁은 전폭적으로 응답해야 하기 때문이다.