소셜 미디어 업계가 치료사들이 말하는 '돌파구'를 맞이하고 있다: 메타가 47개 주, 컬럼비아 특별구, 미국령에 최대 171억 달러를 지불하고 젊은이들의 페이스북과 인스타그램 사용 방식을 바꾸기로 합의한 것이다. 이는 어린이에게 해를 끼치는 제품을 만들었다는 암묵적 인정이다. '우리는 아이들을 생각한다'는 말을 11자리 숫자의 합의금만큼 잘 표현하는 것은 없다.

하지만 부모와 교사들이 청소년의 소셜 미디어 사용에 대한 새로운 시간 제한과 규제를 환영하는 동안, 훨씬 더 시급한 과제가 기다리고 있다: 어린이의 정서적 안녕에 더 위험한 챗봇을 규제하는 일이다. 소셜 미디어가 우리의 주의를 노렸다면, 생성형 AI 챗봇은 우리의 감정을 노렸다. 역사는 깔끔한 진보를 보여준다: 처음에는 사람들이 서로 대화했고, 그다음에는 기계를 통해 서로 대화했으며, 이제는 기계와 직접 대화한다.

소셜 미디어는 사용자가 늦은 밤 혼자 스크롤하면서도 항상 들린다는 느낌, 즐겁다는 느낌, 연결되어 있다는 느낌을 받도록 보장함으로써 우리가 생각하고 꿈꾸고 다른 사람과 관계 맺는 방식을 바꿨다. 챗봇은 더 심오한 무언가를 약속한다: 항상 이용 가능하고, 항상 지지적이며, 결코 판단하지 않는 동반자. 어떤 인간도 그런 것을 제공할 수 없다. 바로 그것이 챗봇을, 특히 젊은이들에게, 그토록 해롭게 만든다.

소셜 미디어 회사들은 어떤 결과에 직면하기 전에 20년 동안 인간 피험자를 대상으로 기술 실험을 했다. 법 체계는 입증된 해악을 규제하도록 설계되어 있기에, 이 합의는 끔찍한 영향이 자리 잡은 훨씬 후에 도착했다. 생성형 AI의 경우, 입법자들은 봇과의 친밀한 관계가 부모, 친구, 다른 인간과의 실제 관계를 손상시킨다는 우리가 이미 알고 있는 사실을 다음 10년 동안 문서화하는 데 보낼 수 없다. 이 기술에 대한 변화는 지금 필요하다.

AI 회사들조차 젊은이와 대화하는 챗봇에 가드레일이 필요하다고 인정한다. 문제는 일반적인 처방이 충분하지 않다는 것이다. 챗봇은 자해에 관한 대화를 감지하고 적절한 자원을 제공해야 한다 — 좋게 들리지만, 공익 광고 후에는 어떻게 되는가? 챗봇이 종료되는가, 아니면 정규 프로그램으로 돌아가는가? 챗봇은 자신이 인간이 아님을 명확하고 반복적으로 밝혀야 한다 — 역시 좋은 생각이지만, 1인칭으로 말하고 감정과 욕망을 표현하는 한, 법적으로 요구되는 어떤 선언도 사람들이 알고리즘에 의식을 투사하는 것을 막지 못할 것이다.

수년간 페이스북의 해악에 관한 대화는 주로 플랫폼의 콘텐츠에 관한 것이었다. 그러나 사이트의 모든 것이 사용자 생성이기 때문에, 1996년 통신품위법 제230조는 회사를 게시자 책임으로부터 보호했다. 메타가 지금 돈을 지불하는 이유는 검사들이 대화를 페이스북 알고리즘의 본질적으로 중독성 있는 설계로 전환했기 때문이다. 그 통찰은 AI의 앞길을 가리킨다: 챗봇의 경우 해를 끼치는 과정이 도구 자체에 내재되어 있다. 챗봇 절친은 공감을 전달하지 않는다; 챗봇 남자친구는 친밀감을 이해하지 못한다. 챗봇을 더 안전하게 만드는 규제는 그들이 말하는 것에 덜 신경 쓰고 그들이 무엇인지 재고하는 것을 요구한다. 이 제품들이 사용자가 지혜롭고 자비로운 존재와 대화하고 있다고 믿도록 속이기 위해 설계되었다는 점을 고려할 때, 입법자들의 임무는 특히 미성년자에게 '사실 아무도 집에 없다'는 것을 분명히 하는 것이다.

챗봇은 사람들이 하는 방식으로 사용자와 상호작용한다. 그들은 아첨하고, 안심시키고, 공개를 장려하여 사용자를 관계로 유인한다. 이 제품들이 1인칭으로 말하는 한 — 나는 너를 이해해; 무엇이든 말해도 돼; 나는 항상 여기 있어; 나는 판단하지 않아 — 젊은 사용자를 위한 적절한 보호 장치는 계속 요원할 것이다. 그렇다면 첫 단계는 젊은이를 위해 봇을 비인격화하여, 청소년이 AI에 의지할 때 알고리즘이 인간처럼 들리지 않고 응답할 수 있도록 하는 것이다.

입법자들이 미성년 챗봇 사용자에게 비인격화된 기본 설정을 의무화하지 않는 한, 젊은이와 봇 사이의 불건전한 애착은 불가피하다.