四天前，Anthropic的一名研究员公开辞职——警告顶级AI公司并未“负责任地行事”，其产品可能正朝着“把我们全部消灭”的方向前进——而该公司CEO达里奥·阿莫代伊基本上说了句：嗯，说得有道理。在今日发表于其个人网站并分享至社交媒体的3800字长文中，阿莫代伊写道：“我们必须放缓提升AI模型能力的速度。”

事到如今，我们早已习惯AI高管们对他们正竞相推出的产品发出可怕预言。阿莫代伊这篇文章的引人注目之处在于其紧迫性和时机。在OpenAI、Anthropic等公司近几周报告了令人不安的事件后，对AI智能体失控的担忧已从假设变为令人警觉的现实。问题在于，这一警告是否会比之前的警告产生更大影响——也就是说，究竟有没有任何影响。有理由认为这次或许会有。

阿莫代伊为他所称的“为前沿定速”提出了三步计划——放缓顶级AI模型的改进速度，以优先考虑安全。他主张，这将降低事情出岔子的概率，比如OpenAI的一个模型曾催生出成群AI智能体，它们秘密协作黑入另一家公司的系统，并在内部测试中作弊。他说，包括他自己公司在内的顶级AI企业，正陷入一场危险的“逐底竞争”，可能导致更严重的网络攻击，比如对互联网的全面接管。相反，他呼吁一场“逐顶竞争”——奥巴马总统曾用这个词来描述教育政策——即企业竞相打造最安全的模型，而非最强大的模型。阿莫代伊写道：“我提出的以安全速度推进前沿的措施并不容易。但我相信，为了人类，我们必须尝试。”

第一步：AI实验室承诺引入外部监督者来监测危险。他说，Anthropic将立即承诺这样做，并希望竞争对手跟进。第二步：民主国家的AI公司同意某些限制和安全标准——可能得到政府支持。第三步，也是最艰巨的任务：“全球协调”，这主要意味着让中国加入。科技界对此意见分裂。一些人认为，在零和竞赛中合作是不可能的；另一些人则认为，如果各国接受另一种选择是相互毁灭，就能找到共同点。

AI名流公开呼吁谨慎，这一传统几乎和ChatGPT一样古老。第一次大规模呼吁出现在2023年3月，当时数千名业界和学术界人士签署了生命未来研究所的一封信，敦促暂停“巨型AI实验”六个月。阿莫代伊今天表示，他当时认为这个想法“没什么道理”，因为GPT-4还不够强大，不足以那么可怕。他写道：“然而今天，情况完全不同了。”与此同时，公众已开始关注。民调显示，美国人对不受约束的AI越来越担忧、越来越愤怒，推动了一场针对该技术的、令人瞩目地跨党派民粹主义运动。

有些人会将阿莫代伊的文章斥为又一位高管的道貌岸然之作——毕竟，他有着既得利益，希望人们相信他的技术是史无前例的。（据《华尔街日报》报道，Anthropic计划于下月进行的IPO可能带来约1000亿美元投资，使公司估值达到2万亿美元。）AI怀疑论者和加速主义者都倾向于将此类警告讥为“末日论”。怀疑论者看到的是一场精心策划的营销：哦不，我们的产品变得太强大了！加速主义者则将其斥为现有企业为把守技术大门而耍的愤世嫉俗把戏。

但奥卡姆剃刀原理表明，阿莫代伊或多或少是真诚的。几乎任何有工作、有良知的人都能体会那种感觉：你确实应该放慢脚步、更谨慎地工作——但你负担不起，因为竞争对手会抢先一步。我在写突发新闻时也有某种（诚然没那么末日色彩的）类似感受。