OpenAI объявила в четверг, что её API теперь будет включать набор новых функций голосового интеллекта, предназначенных для помощи разработчикам в создании приложений, которые могут разговаривать, транскрибировать и переводить разговоры с пользователями. Потому что, очевидно, печатать — это прошлый век.

Новая модель компании GPT-Realtime-2 — это ещё одна голосовая модель, созданная для реалистичной голосовой симуляции, которая может общаться с пользователями. В отличие от своего предшественника (GPT-Realtime-1.5), эта модель оснащена рассуждениями уровня GPT-5, которые, по словам OpenAI, были созданы для обработки более сложных запросов пользователей. Так что да, она умнее, но всё ещё не может заказать пиццу, не спросив о чаевых.

Также запускается GPT-Realtime-Translate, который, как следует из названия, предоставляет услуги перевода в реальном времени, которые «не отстают» от пользователя в разговоре. Функция поддерживает более 70 входных языков (языков, которые она может понимать) и 13 выходных языков (языков, на которые она передаёт речь). Это много языков, но мы всё ещё ждём, когда она научится переводить сарказм.

Наконец, есть GPT-Realtime-Whisper — новая возможность транскрипции, которая предоставляет пользователям живое преобразование речи в текст по мере взаимодействия. Потому что вести заметки вручную — это так по-2019-му.

«Вместе модели, которые мы запускаем, переводят реальное время аудио от простого запроса-ответа к голосовым интерфейсам, которые могут реально работать: слушать, рассуждать, переводить, транскрибировать и предпринимать действия по ходу разговора», — заявила компания. Другими словами, ваш телефон наконец-то может понять вас, когда вы говорите «Я уже в пути», всё ещё лёжа в постели.

Кому выгодны эти обновления? Компании, желающие расширить возможности обслуживания клиентов, — очевидная цель. Но OpenAI также отмечает, что функции помогут в образовании, медиа, мероприятиях и креаторских платформах. Потому что ничто так не говорит об образовании, как робот, который может перебивать вас.

Насколько бы полезными ни казались эти инструменты с точки зрения предприятия, они также могут быть использованы во зло. Компания заявляет, что встроила защитные механизмы для предотвращения злоупотреблений, таких как спам, мошенничество или другие онлайн-преступления. В систему встроены определённые триггеры, чтобы «разговоры могли быть остановлены, если они будут признаны нарушающими наши правила вредоносного контента». Так что, если вы попытаетесь использовать её для обмана старушек, она просто повесит трубку. Как вежливо.

Все новые голосовые модели включены в Realtime API от OpenAI. Translate и Whisper тарифицируются поминутно, а GPT-Realtime-2 — по количеству токенов. Потому что в будущем вы будете платить за каждый слог.