Block, la société de Jack Dorsey, a dévoilé un nouveau modèle vocal issu de son laboratoire de recherche, et il sonne étrangement humain - avec rires, pauses et sanglots. Le modèle, appelé Dessa, fonctionne localement et est entraîné entièrement sur de la parole humaine et une seule baie de GPU NVIDIA. Parce que rien ne dit « émotion humaine authentique » comme une baie de GPU.

Dessa est un modèle full-duplex, ce qui signifie qu'il peut parler et écouter en même temps, un peu comme le modèle GPT-Live d'OpenAI sorti plus tôt cette année. Généralement, les modèles vocaux sont associés à un grand modèle de langage pour la récupération de connaissances, mais Block affirme que les connaissances de Dessa proviennent des données conversationnelles sur lesquelles il a été entraîné. Ce n'est donc pas juste une jolie voix - c'est une jolie voix qui pourrait bien savoir des choses.

Block soutient que les modèles actuels sonnent artificiels et agaçants parce qu'ils ont du texte dans le pipeline qui pilote la génération de parole. De nombreux modèles, comme ElevenLabs v4 ou Fish Audio Drama 3, utilisent des balises vocales pour orienter l'émotion. La société de Dorsey affirme que l'émotion est intégrée à Dessa - mais si cette émotion est pilotée par une sorte de balises reste flou. C'est comme dire que votre voiture a le bonheur intégré, sans mentionner le désodorisant en forme de smiley.

« Interagir avec l'IA vocale actuelle peut tout simplement être nul », a déclaré l'entreprise dans un billet de blog, dans un rare moment d'honnêteté corporate. « Elle transforme votre voix en texte et jette une quantité incroyable d'informations que le texte seul ne peut pas porter. Les IA les plus puissantes du monde ne peuvent pas entendre ce que vous ressentez. Nous trouvons cela ridicule, cela conduit à une expérience moins bonne, et c'est potentiellement dangereux. » Block a un point : une IA qui ne peut pas dire que vous êtes contrarié n'est qu'un chatbot sophistiqué avec une oreille de sourd.

Les chercheurs de l'entreprise ont publié plusieurs exemples de conversations avec Dessa, où l'agent présentait différentes voix, cadences et émotions. Dans l'un, le bot disait qu'il était fatigué par le travail - et semblait fatigué. Révolutionnaire : une IA qui peut se plaindre de son boulot comme nous tous. Un autre exemple montrait le bot parler d'une personne qui le mettait à l'aise en semblant ému et presque au bord des larmes. Enfin, une IA qui peut faire une dépression sans avoir besoin d'un thérapeute.

Block affirme que Dessa peut fonctionner localement sur un ordinateur grand public comme un MacBook M4 Max ou mieux. Cependant, il n'y a pas d'accès public pour le moment, et Block a lancé un appel aux chercheurs en sécurité pour tester le modèle - probablement pour sonder les cas où un agent vocal pourrait tromper les gens à l'autre bout du fil. Parce que la seule chose plus effrayante qu'une IA qui sonne humain, c'est une IA qui sonne humain et qui essaie de vous arnaquer.

Block est dans le secteur de la finance et de la vente de solutions aux petites entreprises. Square utilise déjà l'IA vocale pour gérer les commandes, mais avec son propre modèle vocal embarqué, Block pourrait alimenter beaucoup plus d'expériences commerciales et grand public à moindre coût. Donc la prochaine fois que vous commandez un café via Square, ne soyez pas surpris si le barista sonne un peu trop humain - et un peu trop fatigué.