Block Jacka Dorseya zaprezentował nowy model głosowy ze swojego laboratorium badawczego, który brzmi niesamowicie ludzko – wraz ze śmiechem, pauzami i płaczem. Model o nazwie Dessa działa lokalnie i jest trenowany wyłącznie na ludzkiej mowie oraz pojedynczej szafie serwerowej NVIDIA GPU. Bo nic nie mówi „autentyczne ludzkie emocje” tak jak szafa serwerowa z GPU.

Dessa to model pełnodupleksowy, co oznacza, że może mówić i słuchać jednocześnie, podobnie jak model GPT-Live OpenAI wydany wcześniej w tym roku. Zazwyczaj modele mowy są łączone z dużym modelem językowym do wyszukiwania wiedzy, ale Block twierdzi, że wiedza Dessy pochodzi z danych konwersacyjnych, na których została wytrenowana. Więc to nie tylko ładny głos – to ładny głos, który może faktycznie coś wiedzieć.

Block argumentuje, że obecne modele brzmią nienaturalnie i irytująco, ponieważ mają tekst w potoku sterujący generowaniem mowy. Wiele modeli, takich jak ElevenLabs v4 czy Fish Audio Drama 3, używa tagów głosowych do sterowania emocjami. Firma Dorseya twierdzi, że emocje są wbudowane w Dessę – choć nie jest jasne, czy te emocje są sterowane jakiegoś rodzaju tagami. To jak powiedzieć, że twój samochód ma wbudowane szczęście, ale nie wspomnieć o odświeżaczu powietrza w kształcie uśmiechniętej buźki.

„Interakcja z obecną sztuczną inteligencją głosową może po prostu być do bani” – stwierdziła firma w poście na blogu, w rzadkim momencie korporacyjnej szczerości. „Zamienia twój głos w tekst i wyrzuca niesamowitą ilość informacji, których sam tekst nie jest w stanie unieść. Najpotężniejsze AI na świecie nie słyszą, jak się czujesz. Uważamy, że to absurdalne, prowadzi do gorszego doświadczenia i jest potencjalnie niebezpieczne”. Block ma rację: AI, która nie potrafi rozpoznać, że jesteś zdenerwowany, to tylko wymyślny chatbot z drewnianym uchem.

Badacze firmy opublikowali wiele przykładów rozmów z Dessą, w których agent prezentował różne głosy, kadencje i emocje. W jednym bot powiedział, że jest zmęczony pracą – i brzmiał na zmęczonego. Przełomowe rzeczy: AI, która może narzekać na swoją pracę tak jak my wszyscy. Inny przykład pokazał bota mówiącego o osobie, która sprawia, że czuje się komfortowo, brzmiąc emocjonalnie i prawie się załamując. Wreszcie AI, która może mieć załamanie nerwowe bez potrzeby terapeuty.

Block twierdzi, że Dessa może działać lokalnie na komputerze klasy konsumenckiej, takim jak MacBook M4 Max lub lepszy. Jednak obecnie nie ma publicznego dostępu, a Block wezwał badaczy bezpieczeństwa do testowania modelu – prawdopodobnie w celu zbadania przypadków, w których agent głosowy mógłby oszukać ludzi po drugiej stronie. Bo jedyną rzeczą straszniejszą niż AI, która brzmi ludzko, jest AI, która brzmi ludzko i próbuje cię oszukać.

Block zajmuje się finansami i sprzedażą rozwiązań dla małych firm. Square już używa AI głosowej do obsługi zamówień, ale dzięki własnemu modelowi głosowemu na urządzeniu Block mógłby obsługiwać znacznie więcej doświadczeń biznesowych i konsumenckich przy niższych kosztach. Więc następnym razem, gdy będziesz zamawiać kawę przez Square, nie zdziw się, jeśli barista zabrzmi trochę zbyt ludzko – i trochę zbyt zmęczony.