Block, l'azienda di Jack Dorsey, ha svelato un nuovo modello vocale dal suo laboratorio di ricerca, e suona inquietantemente umano, completo di risate, pause e pianti. Il modello, chiamato Dessa, funziona localmente ed è addestrato interamente su parlato umano e un singolo rack di GPU NVIDIA. Perché niente dice "autentica emozione umana" come un rack di GPU.

Dessa è un modello full-duplex, il che significa che può parlare e ascoltare contemporaneamente, proprio come il modello GPT-Live di OpenAI rilasciato all'inizio di quest'anno. Tipicamente, i modelli vocali sono accoppiati a un grande modello linguistico per il recupero delle conoscenze, ma Block sostiene che la conoscenza di Dessa deriva dai dati conversazionali su cui è stata addestrata. Quindi non è solo una bella voce: è una bella voce che potrebbe effettivamente sapere delle cose.

Block sostiene che i modelli attuali suonano innaturali e fastidiosi perché hanno del testo nella pipeline che guida la generazione del parlato. Molti modelli, come ElevenLabs v4 o Fish Audio Drama 3, usano tag vocali per orientare l'emozione. L'azienda di Dorsey afferma che l'emozione è incorporata in Dessa, anche se non è chiaro se questa emozione sia guidata da una sorta di tag. È come dire che la tua auto ha la felicità incorporata, ma non menzionare l'deodorante per auto con la faccina sorridente.

"Interagire con l'attuale IA vocale può semplicemente fare schifo", ha dichiarato l'azienda in un post sul blog, in un raro momento di onestà aziendale. "Trasforma la tua voce in testo e butta via una quantità incredibile di informazioni che il solo testo non può trasportare. Le IA più potenti del mondo non possono sentire come ti senti. Pensiamo che sia ridicolo, porti a un'esperienza peggiore e sia potenzialmente pericoloso." Block ha ragione: un'IA che non riesce a capire che sei arrabbiato è solo un chatbot elegante con l'orecchio di legno.

I ricercatori dell'azienda hanno pubblicato molteplici esempi di conversazioni con Dessa, in cui l'agente mostrava voci, cadenze ed emozioni diverse. In uno, il bot ha detto di essere stanco dal lavoro, e suonava stanco. Roba rivoluzionaria: un'IA che può lamentarsi del proprio lavoro proprio come tutti noi. Un altro esempio mostrava il bot che parlava di una persona che lo faceva sentire a proprio agio, con una voce emozionata e quasi sul punto di crollare. Finalmente, un'IA che può avere un esaurimento nervoso senza bisogno di uno psicoterapeuta.

Block afferma che Dessa può funzionare localmente su un computer di livello consumer come un MacBook M4 Max o superiore. Tuttavia, al momento non c'è accesso pubblico, e Block ha lanciato un appello ai ricercatori di sicurezza per testare il modello, probabilmente per sondare casi in cui un agente vocale potrebbe ingannare le persone dall'altra parte. Perché l'unica cosa più spaventosa di un'IA che sembra umana è un'IA che sembra umana e sta cercando di truffarti.

Block opera nel settore della finanza e vende soluzioni alle piccole imprese. Square usa già l'IA vocale per gestire gli ordini, ma con il proprio modello vocale on-device, Block potrebbe alimentare molte più esperienze business e consumer a un costo inferiore. Quindi la prossima volta che ordini un caffè tramite Square, non sorprenderti se il barista suona un po' troppo umano, e un po' troppo stanco.