/ Модель

Характеристики

Размер весов
2,5 ГБ
Лицензия
Apache 2.0
Библиотека
nemo
Опубликована
30 янв 2024

reazonspeech-nemo-v2

Распознавание речиАудио → текст7 профессий

Модель Reazon Research распознаёт японскую речь в аудиозаписях, включая длинные записи продолжительностью до нескольких часов.

3 445скачиваний за 30 дней40лайковвеса обновлены13 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

reazonspeech-nemo-v2 — модель автоматического распознавания речи, разработанная Reazon Research и обученная на корпусе ReazonSpeech v2.0. Она преобразует японскую речь из аудиозаписей в текст и предназначена в том числе для расшифровки длинных записей продолжительностью до нескольких часов.

Модель основана на улучшенной архитектуре Conformer из Fast Conformer с линейно масштабируемым механизмом внимания. Это субсловная RNN-T-модель с 619 млн параметров: кодировщик использует Longformer attention с локальным контекстом 256 и одним глобальным токеном, а словарь декодера содержит 3000 токенов SentencePiece unigram. Для использования разработчик рекомендует библиотеку reazonspeech.

Модель ориентирована на японскую речь и длительные аудиозаписи. Лицензия Apache-2.0.

Сценарии применения

  • транскрибация длинных японских аудиозаписей
  • расшифровка японских интервью и лекций
  • преобразование японской речи в текст для поиска и архивирования

Ограничения

Модель предназначена для японской речи; качество распознавания других языков не заявлено.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

reazonspeech-nemo-v2

reazonspeech-nemo-v2 is an automatic speech recognition model trained on ReazonSpeech v2.0 corpus.

This model supports inference of long-form Japanese audio clips up to several hours.

Model Architecture

The model features an improved Conformer architecture from Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition.

  • Subword-based RNN-T model. The total parameter count is 619M.

  • Encoder uses Longformer attention with local context size of 256, and has a single global token.

  • Decoder has a vocabulary space of 3000 tokens constructed by SentencePiece unigram tokenizer.

We trained this model for 1 million steps using AdamW optimizer following Noam annealing schedule.

Usage

We recommend to use this model through our reazonspeech library.

from reazonspeech.nemo.asr import load_model, transcribe, audio_from_path

audio = audio_from_path("speech.wav")
model = load_model()
ret = transcribe(model, audio)
print(ret.text)

License

Apaceh Licence 2.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · nemo

Нельзя запустить

Модели NVIDIA NeMo требуют отдельного рантайма.

Ревизия весов
3369340

0 моделей