Nvidia представила ИИ-модель для расшифровки и перевода аудио

Nvidia выпустила Nemotron 3.5 Transcribe — открытую ИИ-модель, которая расшифровывает аудиозаписи, переводит речь и определяет говорящих. Она также может составлять краткие пересказы встреч и отвечать на вопросы по содержанию записей.

Модель поддерживает 40 языков и позволяет выполнять несколько задач с помощью одной инструкции. Например, она может подготовить расшифровку встречи с указанием имен говорящих, перевести разговор на английский или выделить основные решения.

Nemotron 3.5 Transcribe работает на одной видеокарте Nvidia. Модель подходит для обработки записей продолжительностью до часа, в которых участвуют несколько человек, в том числе перебивающих друг друга.

Вместе с моделью компания представила Granary v2 — открытый набор аудиозаписей на 48 языках. Разработчики смогут использовать его для обучения собственных моделей и адаптации распознавания речи под конкретные сферы, например медицину.

Nemotron 3.5 Transcribe и Granary v2 доступны на Hugging Face. Модель работает с готовыми аудиозаписями, но пока не поддерживает распознавание речи в реальном времени.

Источник: huggingface.co