Характеристики

Параметры: 403 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense

Ссылки

Hugging Face

wav2vec2-xls-r-300m-dv

shahukareem

Распознавание речиАудио → текст8 профессий

Дообученная на Common Voice модель Wav2Vec2 для преобразования речи в текст.

10скачиваний за 30 дней0лайковвеса обновлены7 фев 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

shahukareem/wav2vec2-xls-r-300m-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная на основе facebook/wav2vec2-xls-r-300m и дообученная на Common Voice. Она принимает аудио и преобразует речь в текст; на указанном в карточке наборе оценки достигла WER 0,2451 и loss 0,2206. Модель содержит около 402,7 млн параметров и опубликована в формате PyTorch.

Модель предназначена для автоматического распознавания речи. В карточке не приведены сведения о поддерживаемых языках, контексте применения или специальных сценариях. Распространяется по лицензии Apache-2.0; качество распознавания за пределами указанной оценки не описано.

Сценарии применения

транскрибация аудиозаписей
распознавание речи на аудио из Common Voice
получение текстовой расшифровки речевого сигнала

Ограничения

В карточке приведена только оценка WER 0,2451 на наборе оценки; сведения о языках и качестве на других данных отсутствуют.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

wav2vec2-xls-r-300m-dv

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice dataset. It achieves the following results on the evaluation set:

Loss: 0.2206
Wer: 0.2451

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 50
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
5.9623	0.66	400	3.3010	1.0
3.2238	1.33	800	2.8950	1.0
1.1988	1.99	1200	0.5277	0.6681
0.6084	2.65	1600	0.4113	0.5831
0.4973	3.32	2000	0.3538	0.5333
0.4476	3.98	2400	0.3201	0.5081
0.3999	4.64	2800	0.2917	0.4759
0.3779	5.31	3200	0.2788	0.4672
0.3457	5.97	3600	0.2667	0.4557
0.3222	6.63	4000	0.2549	0.4452
0.3129	7.3	4400	0.2491	0.4266
0.2927	7.96	4800	0.2488	0.4246
0.2786	8.62	5200	0.2429	0.4145
0.2756	9.29	5600	0.2453	0.4150
0.258	9.95	6000	0.2282	0.4109
0.251	10.61	6400	0.2307	0.4012
0.2397	11.28	6800	0.2275	0.4
0.2312	11.94	7200	0.2244	0.3889
0.2323	12.6	7600	0.2247	0.3983
0.216	13.27	8000	0.2301	0.3863
0.2169	13.93	8400	0.2224	0.3782
0.2089	14.59	8800	0.2276	0.3771
0.2042	15.26	9200	0.2286	0.3784
0.1953	15.92	9600	0.2235	0.3822
0.1876	16.58	10000	0.2267	0.3674
0.186	17.25	10400	0.2295	0.3676
0.1847	17.91	10800	0.2244	0.3608
0.178	18.57	11200	0.2229	0.3526
0.1751	19.24	11600	0.2219	0.3483
0.17	19.9	12000	0.2241	0.3503
0.1641	20.56	12400	0.2187	0.3403
0.1629	21.23	12800	0.2135	0.3433
0.1568	21.89	13200	0.2117	0.3358
0.1585	22.55	13600	0.2151	0.3332
0.1512	23.22	14000	0.2097	0.3344
0.1427	23.88	14400	0.2119	0.3255
0.1458	24.54	14800	0.2209	0.3213
0.1413	25.21	15200	0.2228	0.3202
0.1363	25.87	15600	0.2071	0.3207
0.1302	26.53	16000	0.2094	0.3138
0.1283	27.2	16400	0.2193	0.3132
0.1278	27.86	16800	0.2197	0.3103
0.1271	28.52	17200	0.2133	0.3009
0.1243	29.19	17600	0.2202	0.3026
0.1182	29.85	18000	0.2092	0.3046
0.1171	30.51	18400	0.2142	0.2947
0.1156	31.18	18800	0.2219	0.2926
0.1129	31.84	19200	0.2194	0.2848
0.1099	32.5	19600	0.2218	0.2869
0.1045	33.17	20000	0.2183	0.2803
0.1057	33.83	20400	0.2242	0.2896
0.1056	34.49	20800	0.2189	0.2838
0.1039	35.16	21200	0.2256	0.2819
0.1007	35.82	21600	0.2196	0.2743
0.1012	36.48	22000	0.2218	0.2752
0.098	37.15	22400	0.2181	0.2721
0.0963	37.81	22800	0.2162	0.2691
0.0943	38.47	23200	0.2148	0.2686
0.0959	39.14	23600	0.2194	0.2658
0.0904	39.8	24000	0.2170	0.2641
0.0898	40.46	24400	0.2129	0.2585
0.0886	41.13	24800	0.2199	0.2606
0.088	41.79	25200	0.2155	0.2595
0.0863	42.45	25600	0.2169	0.2564
0.0876	43.12	26000	0.2178	0.2529
0.0827	43.78	26400	0.2171	0.2559
0.087	44.44	26800	0.2192	0.2530
0.0818	45.11	27200	0.2180	0.2496
0.0811	45.77	27600	0.2207	0.2502
0.0828	46.43	28000	0.2186	0.2502
0.0796	47.1	28400	0.2203	0.2468
0.0804	47.76	28800	0.2201	0.2453
0.0791	48.42	29200	0.2204	0.2477
0.0777	49.09	29600	0.2197	0.2466
0.0775	49.75	30000	0.2206	0.2451

Framework versions

Transformers 4.17.0.dev0
Pytorch 1.10.2+cu102
Datasets 1.18.3
Tokenizers 0.11.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForCTC
Ревизия весов: bb7a3df

Характеристики

Ссылки

wav2vec2-xls-r-300m-dv

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит8

Также подходит для

Карточка модели

wav2vec2-xls-r-300m-dv

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить