Block, la empresa de Jack Dorsey, ha presentado un nuevo modelo de voz de su laboratorio de investigación, y suena inquietantemente humano, con risas, pausas y llantos incluidos. El modelo, llamado Dessa, se ejecuta localmente y está entrenado completamente con voz humana y una única rack de GPU NVIDIA. Porque nada dice "emoción humana auténtica" como un rack de GPUs.

Dessa es un modelo full-duplex, lo que significa que puede hablar y escuchar al mismo tiempo, muy parecido al modelo GPT-Live de OpenAI lanzado a principios de este año. Normalmente, los modelos de voz se combinan con un modelo de lenguaje grande para la recuperación de conocimiento, pero Block afirma que el conocimiento de Dessa proviene de los datos conversacionales con los que fue entrenado. Así que no es solo una voz bonita: es una voz bonita que quizás realmente sepa cosas.

Block sostiene que los modelos actuales suenan antinaturales y molestos porque tienen texto en el pipeline que impulsa la generación de voz. Muchos modelos, como ElevenLabs v4 o Fish Audio Drama 3, utilizan etiquetas de voz para dirigir la emoción. La empresa de Dorsey afirma que la emoción está integrada en Dessa, aunque no está claro si esa emoción es dirigida por algún tipo de etiquetas. Es como decir que tu coche tiene felicidad incorporada, pero no mencionar el ambientador con forma de carita sonriente.

"Interactuar con la IA de voz actual puede ser simplemente horrible", dijo la empresa en una entrada de blog, en un raro momento de honestidad corporativa. "Convierte tu voz en texto y tira una cantidad increíble de información que el texto por sí solo no puede transmitir. Las IA más poderosas del mundo no pueden oír cómo te sientes. Creemos que eso es ridículo, lleva a una peor experiencia y es potencialmente peligroso". Block tiene razón: una IA que no puede notar que estás molesto es solo un chatbot elegante con mal oído.

Los investigadores de la empresa publicaron múltiples ejemplos de conversaciones con Dessa, donde el agente exhibía diferentes voces, cadencias y emociones. En uno, el bot decía que estaba cansado del trabajo, y sonaba cansado. Material revolucionario: una IA que puede quejarse de su trabajo como el resto de nosotros. Otro ejemplo mostraba al bot hablando de una persona que lo hacía sentir cómodo mientras sonaba emocionado y casi al borde de las lágrimas. Finalmente, una IA que puede tener un colapso sin necesidad de un terapeuta.

Block dice que Dessa puede ejecutarse localmente en una computadora de consumo como una MacBook M4 Max o superior. Sin embargo, no hay acceso público por el momento, y Block ha hecho un llamado a investigadores de seguridad para probar el modelo, probablemente para investigar casos en los que un agente de voz podría engañar a las personas al otro lado. Porque lo único más aterrador que una IA que suena humana es una IA que suena humana y está tratando de estafarte.

Block se dedica a las finanzas y a vender soluciones a pequeñas empresas. Square ya utiliza IA de voz para gestionar pedidos, pero con su propio modelo de voz en el dispositivo, Block podría impulsar muchas más experiencias empresariales y de consumo a un costo menor. Así que la próxima vez que pidas un café a través de Square, no te sorprendas si el barista suena un poco demasiado humano, y un poco demasiado cansado.