ジャック・ドーシー率いるBlockが研究部門から新しい音声モデルを発表した。笑い声や間、泣き声まで備え、不気味なほど人間そっくりだ。Dessaと呼ばれるこのモデルはローカルで動作し、人間の音声と単一のNVIDIA GPUラックのみで完全に訓練されている。GPUラック以上の「本物の人間の感情」なんてないだろうからね。

Dessaは全二重モデルで、OpenAIが今年初めにリリースしたGPT-Liveモデルと同様に、話しながら聞くことができる。通常、音声モデルは知識検索のために大規模言語モデルと組み合わせられるが、BlockはDessaの知識は訓練された会話データに由来すると主張している。つまり、ただ声が美しいだけでなく、実際に物事を知っているかもしれない美しい声なのだ。

Blockは、現在のモデルが不自然でイライラするのは、テキストが音声生成を駆動するパイプラインにあるからだと論じている。ElevenLabs v4やFish Audio Drama 3など多くのモデルは、感情を操作するために音声タグを使用する。ドーシーの会社は、感情がDessaに組み込まれていると主張するが、その感情が何らかのタグによって操作されているかどうかは不明だ。まるで、車に幸福が組み込まれていると言いながら、スマイリーフェイスの芳香剤について言及しないようなものだ。

「現在の音声AIとのやり取りは、単純に最悪になり得る」と同社はブログ投稿で述べた。企業の誠実さが垣間見える珍しい瞬間だ。「それはあなたの声をテキストに変換し、テキストだけでは運べない信じられないほどの情報を捨て去る。世界で最も強力なAIは、あなたがどう感じているかを聞くことができない。それは馬鹿げていると思うし、より悪い体験につながり、潜在的に危険だ」とBlockは述べている。Blockには一理ある。あなたが動揺していることを察知できないAIは、ただ耳が鈍いだけの fancy なチャットボットに過ぎない。

同社の研究者たちは、Dessaとの会話の複数の例を投稿し、エージェントが異なる声、抑揚、感情を示した。ある例では、ボットは仕事で疲れていると言い、そして疲れているように聞こえた。画期的なことだ。私たちと同じように仕事の愚痴を言えるAI。別の例では、ボットは人がある人を快適にさせていることについて話し、感情的でほとんど泣き崩れそうな声で話した。ついに、セラピストなしで精神崩壊できるAIが登場した。

Blockは、DessaはMacBook M4 Max以上の消費者向けコンピュータでローカルに動作できると述べている。しかし、現時点では公開アクセスはなく、Blockは安全研究者にモデルのテストを呼びかけている。おそらく、音声エージェントが相手を騙す可能性のあるケースを調査するためだろう。人間のように聞こえるAIよりも怖いのは、人間のように聞こえてあなたを騙そうとするAIだけだからね。

Blockは金融と中小企業向けソリューションの販売を事業としている。Squareはすでに注文処理に音声AIを使用しているが、自社のオンデバイス音声モデルがあれば、Blockはより多くのビジネスと消費者体験を低コストで実現できる。だから次にSquareでコーヒーを注文するとき、バリスタが少し人間的すぎて、少し疲れすぎているように聞こえても驚かないでほしい。