잭 도시의 블록이 연구소에서 새로운 음성 모델을 공개했는데, 웃음, 멈춤, 울음까지 완비해 으스스할 정도로 인간처럼 들린다. 데사(Dessa)라는 이 모델은 로컬에서 실행되며, 전적으로 인간 음성과 단일 엔비디아 GPU 랙으로 훈련되었다. GPU 랙만큼 "진정한 인간 감정"을 잘 표현하는 것도 없으니까.

데사는 전이중(full-duplex) 모델로, 올해 초 공개된 오픈AI의 GPT-Live 모델처럼 말하면서 동시에 들을 수 있다. 일반적으로 음성 모델은 지식 검색을 위해 대규모 언어 모델과 짝을 이루지만, 블록은 데사의 지식이 훈련된 대화 데이터에서 비롯된다고 주장한다. 그러니까 단순히 예쁜 목소리가 아니라, 실제로 뭔가를 알 수도 있는 예쁜 목소리인 셈이다.

블록은 현재 모델들이 음성 생성을 주도하는 텍스트 파이프라인 때문에 부자연스럽고 짜증난다고 주장한다. ElevenLabs v4나 Fish Audio Drama 3 같은 많은 모델은 음성 태그를 사용해 감정을 조종한다. 도시의 회사는 감정이 데사에 내장되어 있다고 주장하지만, 그 감정이 일종의 태그에 의해 조종되는지는 불분명하다. 마치 자동차에 행복이 내장되어 있다고 말하면서 웃는 얼굴 방향제 얘기는 빼먹는 것과 같다.

"현재 음성 AI와 상호작용하는 건 그냥 짜증날 수 있다"고 회사는 블로그 게시물에서 기업답지 않게 솔직하게 말했다. "그것은 당신의 목소리를 텍스트로 바꾸고 텍스트만으로는 담을 수 없는 엄청난 정보를 버린다. 세계에서 가장 강력한 AI도 당신이 어떻게 느끼는지 들을 수 없다. 우리는 그게 말도 안 되고, 더 나쁜 경험으로 이어지며, 잠재적으로 위험하다고 생각한다." 블록의 말이 맞다: 당신이 화났다는 걸 알아채지 못하는 AI는 그냥 음치 챗봇일 뿐이다.

회사 연구원들은 데사와의 대화 예시 여러 개를 게시했는데, 에이전트가 다양한 목소리, 억양, 감정을 보여주었다. 한 예에서 봇은 일 때문에 피곤하다고 말했고, 실제로 피곤하게 들렸다. 획기적인 일이다: 우리 모두처럼 직장에 대해 불평할 수 있는 AI라니. 또 다른 예에서는 봇이 어떤 사람이 자신을 편안하게 해준다고 말하면서 감정적이고 거의 울먹이는 듯한 목소리를 냈다. 마침내 치료사 없이도 멘탈 붕괴가 가능한 AI가 등장한 것이다.

블록은 데사가 맥북 M4 맥스 이상의 소비자용 컴퓨터에서 로컬로 실행될 수 있다고 말한다. 그러나 현재 공개 접근은 불가능하며, 블록은 안전 연구자들에게 모델 테스트를 요청했다. 아마도 음성 에이전트가 상대방을 속일 수 있는 사례를 조사하기 위해서일 것이다. 인간처럼 들리는 AI보다 더 무서운 것은 인간처럼 들리면서 당신을 사기 치려는 AI뿐이니까.

블록은 금융 및 중소기업 솔루션 판매 사업을 하고 있다. 스퀘어는 이미 주문 처리를 위해 음성 AI를 사용하고 있지만, 자체 온디바이스 음성 모델을 통해 블록은 더 낮은 비용으로 훨씬 더 많은 비즈니스 및 소비자 경험을 제공할 수 있다. 그러니 다음에 스퀘어로 커피를 주문할 때, 바리스타가 너무 인간처럼, 그리고 너무 피곤하게 들려도 놀라지 마라.