/ Модель
Каталог

Характеристики

Параметры
403 млн
Лицензия
Apache 2.0
Архитектура
wav2vec2 · dense
Опубликована
27 апр 2022

Ссылки

Hugging Face

xtreme_s_xlsr_300m_fleurs_asr_western_european

anton-l
Распознавание речиАудио → текст8 профессий

Модель на базе XLS-R распознаёт речь из аудио на языках Западной Европы, представленных в наборе FLEURS.

18скачиваний за 30 дней1лайквеса обновлены28 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана пользователем anton-l и дообучена на базе facebook/wav2vec2-xls-r-300m на датасете GOOGLE/XTREME_S — FLEURS.ALL. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, содержащая около 402,8 млн параметров.

Модель преобразует аудио в текст и предназначена для автоматического распознавания речи на языках Западной Европы, представленных в FLEURS. В README приведены результаты оценки на 20 043 примерах: общий CER составляет 0,2484, а показатели заметно различаются по языкам; например, CER для немецкого — 0,1287, для греческого — 0,6020.

Модель распространяется в формате PyTorch по лицензии Apache-2.0. Результаты оценки указывают на неодинаковое качество между языками, поэтому перед применением следует проверить точность для нужного языка и условий записи.

Сценарии применения

  • транскрибация записей речи на языках FLEURS
  • распознавание речи в многоязычных аудиозаписях
  • подготовка текстовых расшифровок для последующего анализа

Ограничения

Качество распознавания существенно различается между языками: общий CER равен 0,2484, а для некоторых языков он выше 0,4. Оценка описана на наборе FLEURS; качество на других доменах, акцентах и условиях записи может отличаться.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923моделиII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xtreme_s_xlsr_300m_fleurs_asr_western_european

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the GOOGLE/XTREME_S - FLEURS.ALL dataset. It achieves the following results on the evaluation set:

  • Cer: 0.2484
  • Cer Ast Es: 0.1598
  • Cer Bs Ba: 0.1749
  • Cer Ca Es: 0.1655
  • Cer Cy Gb: 0.2280
  • Cer Da Dk: 0.3616
  • Cer De De: 0.1287
  • Cer El Gr: 0.6020
  • Cer En Us: 0.1938
  • Cer Es 419: 0.1288
  • Cer Fi Fi: 0.2050
  • Cer Fr Fr: 0.1811
  • Cer Ga Ie: 0.4474
  • Cer Gl Es: 0.1324
  • Cer Hr Hr: 0.1555
  • Cer Hu Hu: 0.3911
  • Cer Is Is: 0.4646
  • Cer It It: 0.1283
  • Cer Kea Cv: 0.1818
  • Cer Lb Lu: 0.2594
  • Cer Mt Mt: 0.3628
  • Cer Nb No: 0.2254
  • Cer Nl Nl: 0.1790
  • Cer Oci Fr: 0.2159
  • Cer Pt Br: 0.2275
  • Cer Sv Se: 0.3092
  • Loss: 1.3089
  • Loss Ast Es: 0.7715
  • Loss Bs Ba: 0.7378
  • Loss Ca Es: 0.7868
  • Loss Cy Gb: 1.1441
  • Loss Da Dk: 1.9130
  • Loss De De: 0.5391
  • Loss El Gr: 3.4904
  • Loss En Us: 0.9632
  • Loss Es 419: 0.6186
  • Loss Fi Fi: 0.8953
  • Loss Fr Fr: 0.9076
  • Loss Ga Ie: 3.0217
  • Loss Gl Es: 0.5788
  • Loss Hr Hr: 0.6462
  • Loss Hu Hu: 1.9029
  • Loss Is Is: 2.6551
  • Loss It It: 0.6052
  • Loss Kea Cv: 0.9107
  • Loss Lb Lu: 1.3705
  • Loss Mt Mt: 2.3651
  • Loss Nb No: 1.1518
  • Loss Nl Nl: 0.8490
  • Loss Oci Fr: 1.1421
  • Loss Pt Br: 1.1641
  • Loss Sv Se: 1.5910
  • Wer: 0.6451
  • Wer Ast Es: 0.4654
  • Wer Bs Ba: 0.5443
  • Wer Ca Es: 0.4979
  • Wer Cy Gb: 0.5962
  • Wer Da Dk: 0.8455
  • Wer De De: 0.4221
  • Wer El Gr: 0.9805
  • Wer En Us: 0.4556
  • Wer Es 419: 0.3928
  • Wer Fi Fi: 0.8116
  • Wer Fr Fr: 0.4690
  • Wer Ga Ie: 0.8519
  • Wer Gl Es: 0.4245
  • Wer Hr Hr: 0.4895
  • Wer Hu Hu: 0.9099
  • Wer Is Is: 0.9960
  • Wer It It: 0.4415
  • Wer Kea Cv: 0.5202
  • Wer Lb Lu: 0.7225
  • Wer Mt Mt: 1.0096
  • Wer Nb No: 0.6541
  • Wer Nl Nl: 0.5257
  • Wer Oci Fr: 0.5770
  • Wer Pt Br: 0.6685
  • Wer Sv Se: 0.8546
  • Predict Samples: 20043

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 8
  • eval_batch_size: 1
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 8
  • total_train_batch_size: 64
  • total_eval_batch_size: 8
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1000
  • num_epochs: 20.0
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossWerCer
3.14110.495003.16731.01.0
0.63970.9710000.90390.71710.2862
0.40331.4615000.89140.68620.2763
0.34731.9420000.80170.65050.2536
0.31432.4325000.85680.65660.2627
0.30042.9130000.88980.66400.2686
0.2823.435000.84890.66370.2571
0.24893.8840000.89550.67440.2691
0.17064.3745000.91900.67880.2688
0.33364.8550000.89150.65940.2572
0.14265.3455000.95010.67840.2686
0.23015.8360001.02170.67190.2735
0.13256.3165000.95780.66910.2655
0.11456.870000.91290.66800.2593
0.12027.2875000.96460.67490.2619
0.1437.7780000.92000.65540.2554
0.10128.2585000.95530.67870.2628
0.10188.7490000.94550.64450.2511
0.11489.2295001.02060.67250.2629
0.07949.71100000.93050.65470.2526
0.289110.19105001.04240.67090.2570
0.166510.68110000.97600.65960.2507
0.195611.17115000.95490.63400.2440
0.082811.65120000.95980.64030.2460
0.05912.14125000.99720.65740.2531
0.050512.62130000.98360.65340.2525
0.033613.11135001.06190.65640.2519
0.043513.59140001.08440.64800.2543
0.021614.08145001.10840.65120.2521
0.026514.56150001.11520.66070.2563
0.097515.05155001.10600.64560.2471
0.139615.53160001.11000.63370.2418
0.070116.02165001.17310.63090.2415
0.117116.5170001.13020.63150.2396
0.077816.99175001.14850.63790.2447
0.064217.48180001.20090.64000.2464
0.032217.96185001.20280.63570.2425
0.03118.45190001.23810.62850.2416
0.057918.93195001.22990.62650.2409
0.062819.42200001.25820.62770.2395
0.07419.9205001.25720.62780.2394

Framework versions

  • Transformers 4.18.0.dev0
  • Pytorch 1.10.1+cu111
  • Datasets 1.18.4.dev0
  • Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Wav2Vec2ForCTC
Ревизия весов
d8f109b

0 моделей

    Создать бенчмарк