Jack Dorsey's Block heeft een nieuw stemmodel van zijn onderzoekslab onthuld, en het klinkt griezelig menselijk - compleet met gelach, pauzes en huilen. Het model, Dessa genaamd, draait lokaal en is volledig getraind op menselijke spraak en een enkele NVIDIA GPU-rack. Want niets zegt "authentieke menselijke emotie" als een rack vol GPU's.

Dessa is een full-duplex model, wat betekent dat het kan praten en luisteren tegelijk, net als OpenAI's GPT-Live model dat eerder dit jaar uitkwam. Normaal gesproken worden spraakmodellen gecombineerd met een groot taalmodel voor kennisopvraging, maar Block beweert dat Dessa's kennis voortkomt uit de conversationele data waarop het is getraind. Dus het is niet zomaar een mooie stem - het is een mooie stem die misschien daadwerkelijk dingen weet.

Block stelt dat huidige modellen onnatuurlijk en irritant klinken omdat ze tekst in de pijplijn hebben die spraakgeneratie aanstuurt. Veel modellen, zoals ElevenLabs v4 of Fish Audio Drama 3, gebruiken stemtags om emotie te sturen. Dorsey's bedrijf beweert dat emotie ingebouwd is in Dessa - hoewel onduidelijk blijft of die emotie door een of andere vorm van tags wordt gestuurd. Het is alsof je zegt dat je auto ingebouwd geluk heeft, maar niet vermeldt dat er een smiley-luchtverfrisser hangt.

"Interacteren met huidige spraak-AI kan gewoon ronduit zuigen," zei het bedrijf in een blogpost, in een zeldzaam moment van bedrijfsmatige eerlijkheid. "Het zet je stem om in tekst en gooit een ongelooflijke hoeveelheid informatie weg die tekst alleen niet kan overbrengen. De krachtigste AI's ter wereld kunnen niet horen hoe je je voelt. Wij vinden dat belachelijk, het leidt tot een slechtere ervaring en is mogelijk gevaarlijk." Block heeft een punt: een AI die niet kan merken dat je van streek bent, is gewoon een chique chatbot met een doof oor.

De onderzoekers van het bedrijf plaatsten meerdere voorbeelden van gesprekken met Dessa, waarin de agent verschillende stemmen, cadansen en emoties vertoonde. In een ervan zei de bot dat hij moe was van het werk - en klonk ook moe. Baanbrekend spul: een AI die over zijn baan kan klagen net als wij allemaal. Een ander voorbeeld toonde de bot die sprak over iemand die het comfortabel maakte, terwijl hij emotioneel klonk en bijna instortte. Eindelijk een AI die een zenuwinzinking kan krijgen zonder een therapeut nodig te hebben.

Block zegt dat Dessa lokaal kan draaien op een consumentencomputer zoals een MacBook M4 Max of beter. Er is momenteel echter geen publieke toegang, en Block heeft een oproep gedaan aan veiligheidsonderzoekers om het model te testen - waarschijnlijk om gevallen te onderzoeken waarin een stemagent mensen aan de andere kant zou kunnen misleiden. Want het enige dat enger is dan een AI die menselijk klinkt, is een AI die menselijk klinkt en je probeert op te lichten.

Block zit in de financiële sector en verkoopt oplossingen aan kleine bedrijven. Square gebruikt al spraak-AI voor het afhandelen van bestellingen, maar met zijn eigen on-device stemmodel zou Block veel meer zakelijke en consumentenervaringen kunnen aandrijven tegen lagere kosten. Dus de volgende keer dat je een koffie bestelt via Square, wees niet verrast als de barista een beetje te menselijk klinkt - en een beetje te moe.