NVIDIA представила нейросеть, переводящую речь с 40 языков на английский

Компания NVIDIA анонсировала бесплатную нейросеть Nemotron 3.5 Transcribe с открытыми весами. Эта модель сочетает в себе функции расшифровки аудиозаписей, перевода речи и определения голосов собеседников, поддерживая 40 языков, включая русский. Об этом сообщает портал Наша Газета Крым.

Нейросеть может переводить речь с указанных языков на английский и обратно, а также различать до восьми участников беседы, даже если они говорят одновременно. Пользователь имеет возможность давать текстовые команды, например, запросить полную расшифровку, выделить реплики отдельных людей или составить краткое содержание встречи.

Модель обрабатывает аудиозаписи продолжительностью до одного часа. Система может отвечать на вопросы по содержимому записи и учитывать специализированные термины, что особенно полезно в контексте медицинских консультаций, лекций и деловых переговоров.

Архитектура Nemotron 3.5 Transcribe включает 30 миллиардов параметров, но одновременно используется около 4 миллиардов. Это позволяет запускать нейросеть на одном графическом ускорителе NVIDIA. По информации разработчиков, видеокарта RTX PRO 6000 Blackwell Server Edition обрабатывает 100 часов аудио менее чем за три минуты в формате NVFP4.

В тестировании Open ASR Leaderboard модель заняла первое место среди систем с открытыми весами, продемонстрировав среднюю долю ошибок 5,33%. В дополнение к нейросети компания выпустила набор данных Granary v2, содержащий сотни тысяч часов аудиозаписей на 48 языках для обучения речевых моделей.

Nemotron 3.5 Transcribe доступна на платформе Hugging Face и может быть использована в коммерческих проектах. В настоящее время система работает только с готовыми аудиозаписями и не поддерживает распознавание речи в реальном времени.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также: