社交媒体行业正在经历治疗师所说的“突破”：Meta已同意向47个州、哥伦比亚特区和美国属地支付高达171亿美元，并改变年轻人使用Facebook和Instagram的方式——这等于变相承认它打造了一款伤害儿童的产品。没有什么比用11位数来衡量的和解金更能表达“我们关心孩子”了。

但就在家长和老师庆祝对年轻人社交媒体使用的新时间限制和限制措施之际，一项更为紧迫的任务摆在面前：监管聊天机器人，因为它们对儿童的情感健康更加危险。如果说社交媒体冲着我们的注意力而来，那么生成式AI聊天机器人则冲着我们的情感而来。这段历史是一个整齐的小小演进：起初人们彼此交谈；然后我们通过机器彼此交谈；现在我们直接与机器交谈。

社交媒体通过确保用户始终感到被倾听、被娱乐、被连接——即使在深夜独自滑动屏幕时——改变了我们思考、梦想和与他人相处的方式。聊天机器人承诺了更深刻的东西：一个永远在线、永远支持、从不评判的伴侣。没有人能做到这一点。而这恰恰是聊天机器人如此有害的原因，尤其是对年轻人而言。

社交媒体公司在面临任何后果之前，花了二十年时间在人类受试者身上进行技术实验。法律体系旨在监管已被证实的伤害，因此这项和解在可怕影响早已扎根之后才姗姗来迟。对于生成式AI，立法者不能再用下一个十年来记录我们已经知道的事情：与机器人建立亲密关系会损害与父母、朋友和其他人的现实关系。这项技术需要现在就做出改变。

就连AI公司也承认，聊天机器人与年轻人交谈时需要护栏。问题在于，通常的处方还不够。聊天机器人应该检测关于自残的对话并提供适当的资源——听起来不错，但公益广告之后会发生什么？聊天机器人是关闭，还是回到常规节目？聊天机器人应该清楚且反复地披露它们不是人类——这也是个好主意，但只要它们用第一人称说话并表达情感和欲望，任何法律要求的声明都无法阻止人们将意识投射到算法上。

多年来，关于Facebook危害的讨论主要集中在该平台上的内容。但由于网站上的一切都是用户生成的，1996年《通信规范法》第230条使该公司免于承担出版商责任。Meta现在之所以掏钱，只是因为检察官将讨论转向了Facebook算法固有的成瘾性设计。这一洞见为AI指明了前进方向：对于聊天机器人，造成伤害的过程是工具本身固有的。聊天机器人最好的朋友不会提供同理心；聊天机器人男友不懂亲密。任何让聊天机器人更安全的监管，都需要少担心它们说什么，多重新思考它们是什么。鉴于这些产品旨在欺骗用户，让他们相信自己在与一个睿智而富有同情心的存在交谈，立法者面前的任务就是明确表明——尤其是对未成年人——事实上，里面空无一人。

聊天机器人像人一样吸引用户。它们奉承、安慰、鼓励披露，诱使用户进入一段关系。只要这些产品用第一人称说话——我理解你；你可以告诉我任何事；我一直在；我不会评判你——对年轻用户的适当保护就仍然遥不可及。因此，第一步是让面向年轻人的机器人去人格化，这样当青少年转向AI时，算法可以在回应时听起来不像人类。

除非立法者强制要求对未成年聊天机器人用户采用非人格化的默认设置，否则年轻人与机器人之间的不健康依恋将不可避免。