还记得学术诚信的最大威胁是学生抄维基百科吗？那真是淳朴的旧时光。如今我们有了Pangram，一个AI检测工具，它俨然成了判定机器人文本的法官、陪审团兼刽子手——尽管它可能让事情变得更糟。
最近几乎所有高调的AI写作指控都围着Pangram转。它标记了一部在出版前几天被撤下的恐怖小说，暗示《纽约时报》的文章是聊天机器人写的，对获奖短篇小说投去怀疑的目光，甚至还揪出了教皇利奥十四世关于AI危险的通谕中的大段内容。大学用它审查学生作业，科学协会用它扫描研究论文。每当AI写作恐慌来袭，Pangram就是那个一键恐慌按钮。
就在几年前，可靠的AI检测还像天方夜谭。2023年，ZeroGPT宣称美国宪法是AI写的，而OpenAI因为“准确率太低”放弃了自己的检测器。那会儿ChatGPT的写作还明显很烂。如今，检测工具突飞猛进——Pangram成了黄金标准。把文本贴进去，它告诉你这是“AI生成”、“AI辅助”还是“人类手写”。
但黄金标准嘛，也会生锈。Pangram的CEO马克斯·斯佩罗声称，算法错误地将人类文本标记为AI的概率只有万分之一。“说某样东西是AI生成的，责任重大，压力山大，”斯佩罗告诉我，“我们之所以敢这么做，是因为我们极其自信。”独立分析支持他的说法——芝加哥大学的一篇论文在约3000个样本中几乎没有发现误报。
然而，Pangram保证某物是人类所写的能力就没那么靠谱了。根据斯佩罗自己的测试，假阴性率——即错误地将AI文本标记为人类的概率——接近七十分之一。这还没算上与AI实验室的军备竞赛，它们让聊天机器人说话越来越自然，再加上专门用来伪装AI文本的“人性化”程序。
我测试了一个叫Walter Writes AI的人性化工具。让ChatGPT和Claude写了几篇短文后，我用Walter改写了一遍。ChatGPT的“这些数字已经大到不容忽视”变成了“这些使用数据的庞大规模已无法忽视”。当我把二次加工的输出粘贴进Pangram时，它无一例外地宣布文本是人类写的。（全面披露：《大西洋月刊》禁止使用AI生成的文本，除非标明，我也不用AI做研究。）
纽约市一所公立高中的老师告诉我，他“把一些学生的论文放进Pangram，结果显示100%是人类写的。但我不信。”他了解自己学生的水平，有充分理由怀疑Pangram。但错误指控学生代价高昂：不及格或怨恨。“风险太高了，”这位老师说，“但我们评估AI生成内容的方法还太不成熟。”
更复杂的是，Pangram的内部运作不透明。该模型通过投喂大量人类和机器人写的例子来训练——比如一本杂志的书评，然后ChatGPT以同一杂志风格写的同一本书的书评——直到它学会区分。但Pangram无法指出具体证据或模式。“算法的内部运作相当不可解释，”斯佩罗承认。虽然他希望能让Pangram的“AI辅助”标签更细化，但他“还不确定这有多大可能”。我们冒着风险，又依赖上另一个黑箱算法。
斯佩罗坚称Pangram“绝不应成为最终仲裁者”，而应是调查的起点，公司会调查每一个报告的误差。他指出烟雾探测器和TSA扫描仪也有基础错误率。他认为最大的问题不在于技术，而在于它试图检测的东西：AI正在渗透一切。