/ Модель
Каталог

Характеристики

Параметры
1,3 млрд
Лицензия
Apache 2.0
Архитектура
wav2vec2 · dense
Опубликована
2 мар 2022

Ссылки

Hugging Face

xls-asr-vi-40h-1B

geninhu
Распознавание речиАудио → текст8 профессий

Модель wav2vec2 на 1,3 млрд параметров распознаёт вьетнамскую речь и преобразует её в текст.

17скачиваний за 30 дней0лайковвеса обновлены23 мар 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

geninhu/xls-asr-vi-40h-1B — модель распознавания речи на вьетнамском языке, разработанная путём дообучения facebook/wav2vec2-xls-r-1b на 40 часах данных FPT Open Speech Dataset и Common Voice 7.0. Это модель архитектуры wav2vec2 с классом Wav2Vec2ForCTC и 1,3 млрд параметров; она принимает аудио и выдаёт текстовую транскрипцию.

Модель предназначена для преобразования вьетнамской речи в текст. В карточке приведены результаты оценки на VIVOS и Common Voice 7.0/8.0 с языковой моделью 4-грамм и без неё. Для Apache-2.0 лицензии допускается использование и распространение на её условиях.

Сценарии применения

  • транскрибация вьетнамских аудиозаписей
  • распознавание речи из датасета Common Voice
  • распознавание вьетнамской речи на записях VIVOS
  • подготовка текстовых транскриптов для голосовых приложений

Ограничения

В опубликованных оценках качество зависит от набора данных и использования 4-граммной языковой модели; в карточке приведены ненулевые WER и CER. Результаты не гарантируют такое же качество на других условиях записи и типах речи.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923моделиI.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xls-asr-vi-40h-1B

This model is a fine-tuned version of facebook/wav2vec2-xls-r-1b on 40 hours of FPT Open Speech Dataset (FOSD) and Common Voice 7.0.

Benchmark WER result:

VIVOSCOMMON VOICE 7.0COMMON VOICE 8.0
without LM25.9334.21
with 4-grams LM24.1125.8431.158

Benchmark CER result:

VIVOSCOMMON VOICE 7.0COMMON VOICE 8.0
without LM9.2419.94
with 4-grams LM10.3712.9616.179

Evaluation

Please use the eval.py file to run the evaluation

python eval.py --model_id geninhu/xls-asr-vi-40h-1B --dataset mozilla-foundation/common_voice_7_0 --config vi --split test --log_outputs

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1500
  • num_epochs: 10.0
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossWer
4.62221.8515005.94790.5474
1.13623.730007.97990.5094
0.78145.5645005.03300.4724
0.62817.4160002.34840.5020
0.54729.2675002.24950.4793
0.482711.1190001.15300.4768
0.432712.96105001.61600.4646
0.398914.81120003.26330.4703
0.352216.67135002.23370.4708
0.320118.52150003.68790.4565
0.289920.37165005.43890.4599
0.277622.22180003.52840.4537
0.257424.07195002.17590.4649
0.237825.93210003.39010.4448
0.21727.78225001.16320.4565
0.211529.63240001.74410.4232
0.195931.48255003.49920.4304
0.18733.33270003.61630.4369
0.174835.19285003.60380.4467
0.1737.04300002.97080.4362
0.15938.89315003.20450.4279
0.15340.74330003.24270.4287
0.146342.59345003.54390.4270
0.13944.44360003.93810.4150
0.135246.3375004.17440.4092
0.136948.15390004.22790.4154
0.127350.0405004.16910.4133

Framework versions

  • Transformers 4.16.0.dev0
  • Pytorch 1.10.1+cu102
  • Datasets 1.17.1.dev0
  • Tokenizers 0.11.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Wav2Vec2ForCTC
Ревизия весов
9d78f75

0 моделей

    Создать бенчмарк