AI世界有了一个闪亮的新痴迷,它以三个字母的形式出现:RSI。不,不是重复性劳损——尽管行业疯狂的流行语采用也可能导致这个。这个RSI代表递归自我改进,这是最新的流行语,让初创公司和研究人员都追逐一个AI无需讨厌的人类干预就能自我升级的愿景。
理论上,RSI很简单:一个AI系统不断改进自身能力,最终闭环,使人类变得可有可无——或者更糟,过时。实际上,就像之前的AGI一样,没有人能完全同意它到底意味着什么或何时到来。但这并没有阻止炒作列车。
本月早些时候,著名AI研究员Richard Socher创立了一家名为Recursive Superintelligence的初创公司,其主要重点是构建“真正递归、自我改进的超级智能,规模化”。Socher告诉TechCrunch,目标是自动化“研究想法的构思、实施和验证的整个过程”。所以基本上,AI可以自己提出作业,做作业,然后给自己评分。能出什么差错呢?
Socher并不孤单。Alex Karpathy,特斯拉和OpenAI的前员工,现在在Anthropic,一直在研究一个名为Auto-Research的项目,使用代理群体在简单任务上训练LLM。到目前为止,他的工作仅限于对GPT-2规模模型的微小改进——正如Karpathy自己指出的,这“还不是新颖、突破性的‘研究’”。但这足以让梦想继续。
Adaption由Cohere和Google校友Sara Hooker创立,最近推出了AutoScientist,一个旨在自动化前沿训练的工具。像Karpathy的系统一样,它训练代理进行增量改进——但雄心勃勃地要训练一个全规模的前沿模型。如果成功,系统可能迅速螺旋上升成非常RSI-like的东西。
Disarray创始人Doris Xin采取了更实际的路线:她自我训练的机器学习代理在最近的Kaggle比赛中赢得了28枚奖牌,击败了许多人类训练的代理。Xin认为,只要有无限的计算和时间,“我们已经到了”。她坚持认为这不是创造力的问题,只是“肉和土豆的工程”。
但有证据表明,行业并不像炒作所暗示的那样接近。Google CEO Sundar Pichai最近承认,“我们还没有完全到那一步”,将RSI描述为“下一个加速水平,有很多影响”。与此同时,Anthropic的Claude Code工具据报道正在编写其团队近100%的代码。一项最近的调查发现,18名Anthropic工程师中有5人认为Mythos很快可以替代L4工程师——一个中级程序员。然而,报告指出了自我指导的弱点,包括“自我管理为期一周的模糊任务、理解组织优先级、品味、验证、指令遵循和认识论”。换句话说,让RSI真正起作用的一切。
乔治城大学安全与新兴技术中心去年召集了专家,发现了一个重大分歧:一些人预期即将到来的“超级智能”爆发,另一些人则预期进展较慢并出现平台期。CSET主任、前OpenAI董事会成员Helen Toner澄清说,使用AI工具进行研究并不符合RSI的条件。“他们只是在尽可能多地使用AI,”她说。“RSI真的是不需要人类。”
METR的Ayeja Cotra列出了里程碑:“充分性”(AI可以在没有人类的情况下进行研究,即使很差)、“对等性”(AI与人类匹配)和“优越性”(AI超越人类-AI协作)。她认为充分性可能在几年内到来,但对等性更模糊。一旦对等性实现,她预测优越性将在一年内到来。
Toner做了一个历史类比:“我们从机器语言到汇编语言和编译语言;你离计算机的内核越来越远。但人类在某种直觉意义上仍然在掌控一切。”超越这个范式需要解决