Block Джека Дорси представила новую голосовую модель из своей исследовательской лаборатории, и она звучит пугающе по-человечески — с смехом, паузами и плачем. Модель под названием Dessa работает локально и обучена полностью на человеческой речи и одном стеке GPU NVIDIA. Потому что ничто так не говорит об «аутентичных человеческих эмоциях», как стойка графических процессоров.

Dessa — это полнодуплексная модель, то есть она может говорить и слушать одновременно, совсем как модель GPT-Live от OpenAI, выпущенная ранее в этом году. Обычно речевые модели объединяют с большой языковой моделью для получения знаний, но Block утверждает, что знания Dessa происходят из разговорных данных, на которых она обучалась. Так что это не просто красивый голос — это красивый голос, который, возможно, действительно что-то знает.

Block утверждает, что текущие модели звучат неестественно и раздражающе, потому что в их конвейере есть текст, управляющий генерацией речи. Многие модели, такие как ElevenLabs v4 или Fish Audio Drama 3, используют голосовые теги для управления эмоциями. Компания Дорси заявляет, что эмоции встроены в Dessa — хотя остаётся неясным, управляются ли эти эмоции какими-то тегами. Это как сказать, что у вашей машины встроенное счастье, но не упомянуть ароматизатор в виде смайлика.

«Взаимодействие с текущим голосовым ИИ может просто откровенно раздражать», — заявила компания в блоге, в редкий момент корпоративной честности. «Он превращает ваш голос в текст и выбрасывает невероятное количество информации, которую текст сам по себе не может передать. Самые мощные ИИ в мире не слышат, что вы чувствуете. Мы считаем это абсурдным, это ведёт к худшему опыту и потенциально опасно». Block права: ИИ, который не может понять, что вы расстроены, — это просто навороченный чат-бот с медвежьим ухом.

Исследователи компании опубликовали несколько примеров разговоров с Dessa, где агент демонстрировал разные голоса, интонации и эмоции. В одном из них бот сказал, что устал от работы — и звучал устало. Прорыв: ИИ, который может жаловаться на свою работу, как и все мы. В другом примере бот говорил о человеке, который создал для него комфорт, звуча эмоционально и почти срываясь. Наконец-то ИИ, который может устроить нервный срыв без помощи психотерапевта.

Block утверждает, что Dessa может работать локально на потребительском компьютере, таком как MacBook M4 Max или лучше. Однако публичного доступа на данный момент нет, и Block объявила набор исследователей по безопасности для тестирования модели — вероятно, чтобы изучить случаи, когда голосовой агент может обмануть человека на другом конце провода. Потому что единственное, что страшнее ИИ, который звучит по-человечески, — это ИИ, который звучит по-человечески и пытается вас обмануть.

Block занимается финансами и продажей решений для малого бизнеса. Square уже использует голосовой ИИ для обработки заказов, но с собственной локальной голосовой моделью Block может обеспечить гораздо больше бизнес- и потребительских сценариев при меньших затратах. Так что в следующий раз, когда будете заказывать кофе через Square, не удивляйтесь, если бариста звучит слишком по-человечески — и слишком устало.