Характеристики

Параметры: 403 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense

Ссылки

Hugging Face

xls-r-300m-cv_8-fr

Plim

Распознавание речиАудио → текст5 профессий

Модель wav2vec2 для транскрибации французской речи, дообученная на Mozilla Common Voice 8.0.

22скачиваний за 30 дней0лайковвеса обновлены9 фев 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Plim/xls-r-300m-cv_8-fr — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на французской части набора Mozilla Common Voice 8.0. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров.

Модель принимает аудио и преобразует французскую речь в текст. Её можно применять для транскрибации записей и оценки качества распознавания на тестовых наборах французской речи. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

Модель специализирована на французском языке и данных Common Voice 8.0. README не приводит результатов оценки, поэтому качество на других источниках аудио и в реальных условиях по имеющимся данным оценить нельзя.

Сценарии применения

транскрибация французских аудиозаписей
распознавание французской речи из Common Voice
оценка качества распознавания французской речи на тестовых данных

Ограничения

Модель дообучена на французской части Common Voice 8.0; качество на иных источниках речи в карточке не оценено. README не приводит численных результатов оценки.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей

Также подходит для

I.6Перевод и языковая адаптация

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model description

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - FR dataset.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 7.5e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 8
total_train_batch_size: 128
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 2000
num_epochs: 5.0 (extended to 7.0 with training with checkpoint)
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
2.9114	0.29	1000	inf	0.9997
1.2436	0.57	2000	inf	0.4310
1.0552	0.86	3000	inf	0.3144
1.0044	1.15	4000	inf	0.2814
0.9718	1.43	5000	inf	0.2658
0.9502	1.72	6000	inf	0.2566
0.9418	2.01	7000	inf	0.2476
0.9215	2.29	8000	inf	0.2420
0.9236	2.58	9000	inf	0.2388
0.9014	2.87	10000	inf	0.2354
0.8814	3.15	11000	inf	0.2312
0.8809	3.44	12000	inf	0.2285
0.8717	3.73	13000	inf	0.2263
0.8787	4.01	14000	inf	0.2218
0.8567	4.3	15000	inf	0.2193
0.8488	4.59	16000	inf	0.2187
0.8359	4.87	17000	inf	0.2172

Training continued with checkpoint from STEP 17000:

Training Loss	Epoch	Step	Validation Loss	Wer
/	5.16	18000	inf	0.2176
/	5.45	19000	inf	0.2181
/	5.73	20000	inf	0.2155
/	6.02	21000	inf	0.2140
/	6.31	22000	inf	0.2124
/	6.59	23000	inf	0.2117
/	6.88	24000	inf	0.2116

It achieves the best result on the validation set on Step 24000:

Wer: 0.2116

Got some issue with validation loss calculation.

Framework versions

Transformers 4.17.0.dev0
Pytorch 1.10.2+cu102
Datasets 1.18.3.dev0
Tokenizers 0.11.0

Evaluation Commands

To evaluate on mozilla-foundation/common_voice_8 with split test

python eval.py --model_id Plim/xls-r-300m-cv_8-fr --dataset mozilla-foundation/common_voice_8_0 --config fr --split test

To evaluate on speech-recognition-community-v2/dev_data

python eval.py --model_id Plim/xls-r-300m-cv_8-fr --dataset speech-recognition-community-v2/dev_data --config fr --split validation --chunk_length_s 5.0 --stride_length_s 1.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForCTC
Ревизия весов: 799632e