杰克·多尔西的 Block 公司揭晓了其研究实验室开发的一款新语音模型,它听起来异常像真人——连笑声、停顿和哭声都一应俱全。这款名为 Dessa 的模型在本地运行,完全基于人类语音训练,并依赖单台 NVIDIA GPU 机架。毕竟,没有什么比一机架的 GPU 更能代表“真实的人类情感”了。

Dessa 是一个全双工模型,意味着它可以同时说话和倾听,很像今年早些时候发布的 OpenAI GPT-Live 模型。通常,语音模型会与大型语言模型配对以进行知识检索,但 Block 声称 Dessa 的知识源于其训练所用的对话数据。所以它不只是一副漂亮的嗓音——而是一副可能真的懂点东西的漂亮嗓音。

Block 认为,当前的模型听起来不自然且令人烦躁,因为它们的流程中有文本在驱动语音生成。许多模型,如 ElevenLabs v4 或 Fish Audio Drama 3,使用语音标签来引导情感。多尔西的公司声称情感是内置于 Dessa 之中的——尽管这种情感是否由某种标签引导仍不清楚。这就像说你的车自带幸福感,却不提那个笑脸空气清新剂。

“与当前的语音 AI 互动简直糟透了,”该公司在一篇博客文章中写道,难得展现了一次企业级的诚实。“它把你的声音转成文本,并丢弃了大量文本本身无法承载的信息。世界上最强大的 AI 也听不出你的感受。我们认为这很荒谬,会导致更糟的体验,并且可能很危险。” Block 说得有道理:一个听不出你难过的 AI,不过是个耳朵不灵光的花哨聊天机器人。

该公司的研究人员发布了多个与 Dessa 对话的示例,其中代理展现了不同的声音、语调和情感。在一个示例中,机器人说自己工作累了——而且听起来确实很累。突破性进展:一个能像我们其他人一样抱怨工作的 AI。另一个示例显示,机器人谈到一个人让它感到舒适时,声音充满情感,几乎要崩溃。终于,一个不需要心理医生就能崩溃的 AI。

Block 表示,Dessa 可以在消费级电脑上本地运行,比如 MacBook M4 Max 或更高配置。然而,目前尚无公开访问渠道,Block 已呼吁安全研究人员测试该模型——很可能是为了探查语音代理可能欺骗电话另一端的人的情况。因为唯一比听起来像人的 AI 更可怕的东西,就是一个听起来像人且正试图诈骗你的 AI。

Block 从事金融业务,并向小企业销售解决方案。Square 已经使用语音 AI 处理点单,但凭借其自有的设备端语音模型,Block 可以以更低的成本为更多商业和消费者体验提供支持。所以下次你通过 Square 点咖啡时,如果咖啡师听起来有点太像真人——而且有点太累了——别惊讶。