ChatGPT научился одновременно слушать и говорить в голосовом режиме

OpenAI представила семейство голосовых моделей GPT-Live, которые способны одновременно воспринимать речь пользователя и формировать голосовой ответ. По данным компании, это делает общение с ChatGPT более естественным, поскольку система может реагировать на паузы, изменения темпа речи и прерывания во время разговора.

В OpenAI напомнили, что первая версия голосового режима ChatGPT, запущенная в 2023 году, работала через несколько отдельных моделей: сначала речь преобразовывалась в текст, затем формировался ответ, после чего он озвучивался. Такой подход приводил к задержкам и делал диалог менее естественным.

Позднее появился режим Advanced Voice, в котором обработка речи и генерация ответа выполнялись одной мультимодальной моделью. Однако разговор по-прежнему строился по очереди: система начинала отвечать только после завершения реплики пользователя.

Новая модель GPT-Live использует полнодуплексную архитектуру, позволяющую одновременно анализировать входящий аудиопоток и формировать собственную речь. Система постоянно определяет, когда следует говорить, продолжать слушать, игнорировать короткие паузы или реагировать на прерывания. Во время общения модель может использовать короткие подтверждающие реплики, создавая эффект живого диалога.

В OpenAI также сообщили, что GPT-Live поддерживает синхронный перевод в режиме реального времени, лучше отделяет голос пользователя от фонового шума и может отображать информационные карточки с погодой, биржевыми данными или спортивными результатами. Для сложных запросов голосовая модель передает задачу более мощным языковым моделям компании, продолжая поддерживать разговор до получения ответа.

По информации OpenAI, старшая версия GPT-Live-1 доступна подписчикам платных тарифов ChatGPT, а облегченная GPT-Live-1 mini — пользователям бесплатных аккаунтов, сообщает N+1.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX.