Block, compania lui Jack Dorsey, a dezvăluit un nou model vocal de la laboratorul său de cercetare, iar acesta sună înfricoșător de uman - cu râsete, pauze și plânsete. Modelul, numit Dessa, rulează local și este antrenat complet pe vorbire umană și pe un singur rack de GPU NVIDIA. Pentru că nimic nu spune „emoție umană autentică” ca un rack de GPU-uri.

Dessa este un model full-duplex, adică poate vorbi și asculta în același timp, la fel ca modelul GPT-Live al OpenAI lansat mai devreme anul acesta. De obicei, modelele vocale sunt asociate cu un model lingvistic mare pentru recuperarea cunoștințelor, dar Block susține că cunoștințele Dessei provin din datele conversaționale pe care a fost antrenată. Deci nu este doar o voce frumoasă - este o voce frumoasă care s-ar putea să știe lucruri.

Block argumentează că modelele actuale sună nenatural și enervant pentru că au text în pipeline care dirijează generarea vorbirii. Multe modele, cum ar fi ElevenLabs v4 sau Fish Audio Drama 3, folosesc etichete vocale pentru a direcționa emoția. Compania lui Dorsey susține că emoția este încorporată în Dessa - deși rămâne neclar dacă acea emoție este direcționată de un fel de etichete. E ca și cum ai spune că mașina ta are fericire încorporată, dar nu menționezi odorizantul cu față zâmbitoare.

„Interacțiunea cu AI-ul vocal actual poate fi pur și simplu groaznică”, a declarat compania într-o postare pe blog, într-un moment rar de onestitate corporativă. „Îți transformă vocea în text și aruncă o cantitate incredibilă de informații pe care doar textul nu le poate transmite. Cei mai puternici AI din lume nu pot auzi cum te simți. Credem că este ridicol, duce la o experiență mai proastă și este potențial periculos.” Block are dreptate: un AI care nu-ți poate spune că ești supărat este doar un chatbot sofisticat cu ureche de tinichea.

Cercetătorii companiei au postat multiple exemple de conversații cu Dessa, unde agentul a exhibit voci, cadențe și emoții diferite. Într-unul, botul a spus că este obosit de la muncă - și suna obosit. Lucruri revoluționare: un AI care se poate plânge de jobul său exact ca restul dintre noi. Un alt exemplu a arătat botul vorbind despre o persoană care îl face confortabil în timp ce suna emoționat și aproape că se prăbușea. În sfârșit, un AI care poate avea o cădere nervoasă fără să aibă nevoie de terapeut.

Block spune că Dessa poate rula local pe un computer de consum, cum ar fi un MacBook M4 Max sau mai bun. Cu toate acestea, nu există acces public în acest moment, iar Block a lansat un apel către cercetătorii în siguranță pentru a testa modelul - probabil pentru a investiga cazurile în care un agent vocal ar putea păcăli oamenii de la celălalt capăt. Pentru că singurul lucru mai înfricoșător decât un AI care sună uman este un AI care sună uman și încearcă să te înșele.

Block este în afacerea finanțelor și a vânzării de soluții pentru micile afaceri. Square folosește deja AI vocal pentru a gestiona comenzile, dar cu propriul model vocal pe dispozitiv, Block ar putea alimenta mult mai multe experiențe de afaceri și consumatori la un cost mai mic. Deci data viitoare când comanzi o cafea prin Square, nu fi surprins dacă barista sună puțin prea uman - și puțin prea obosit.