Характеристики

Параметры: 403 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

wav2vec2-xls-r-300m-japanese

vitouphy

Распознавание речиАудио → текст7 профессий

Японская модель распознавания речи на базе XLS-R, транскрибирующая аудио в текст, записанный хираганой.

131скачиваний за 30 дней0лайковвеса обновлены23 мар 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель vitouphy/wav2vec2-xls-r-300m-japanese — дообученная на Common Voice 8.0 японская система автоматического распознавания речи, созданная на основе facebook/wav2vec2-xls-r-300m. Она преобразует аудио в японский текст, выводя его в хирагане. Для подготовки текста и токенизации автор преобразовал кандзи и катакану в хирагану с помощью pykakasi и использовал fugashi.

Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведены результаты оценки на Common Voice и speech-recognition-community-v2, включая CER и WER; применение языковой модели улучшает указанные метрики. Модель подходит для транскрибирования японской речи, когда требуется запись хираганой. Лицензия — Apache-2.0.

Сценарии применения

транскрибирование японской речи в хирагану
создание субтитров для японских аудиозаписей
распознавание речи в записях Common Voice
подготовка японских речевых данных для анализа

Ограничения

Вывод нормализуется в хирагану, поэтому модель не сохраняет исходное различие между кандзи, катаканой и хираганой. В приведённой оценке CER составляет 0,2227, а WER зависит от набора данных и использования языковой модели.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is for transcribing audio into Hiragana, one format of Japanese language.

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the mozilla-foundation/common_voice_8_0 dataset. Note that the following results are achieved by:

Modify eval.py to suit the use case.
Since kanji and katakana shares the same sound as hiragana, we convert all texts to hiragana using pykakasi and tokenize them using fugashi.

It achieves the following results on the evaluation set:

Loss: 0.7751
Cer: 0.2227

Evaluation results (Running ./eval.py):

Model	Metric	Common-Voice-8/test	speech-recognition-community-v2/dev-data
w/o LM	WER	0.5964	0.5532
	CER	0.2944	0.2629
w/ LM	WER	0.5405	0.4877
	CER	0.2754	0.2487

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 1000
training_steps: 4000
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Cer
4.4081	1.6	500	4.0983	1.0
3.303	3.19	1000	3.3563	1.0
3.1538	4.79	1500	3.2066	0.9239
2.1526	6.39	2000	1.1597	0.3355
1.8726	7.98	2500	0.9023	0.2505
1.7817	9.58	3000	0.8219	0.2334
1.7488	11.18	3500	0.7915	0.2222
1.7039	12.78	4000	0.7751	0.2227
Stop & Train
1.6571	15.97	5000	0.6788	0.1685
1.520400	19.16	6000	0.6095	0.1409
1.448200	22.35	7000	0.5843	0.1430
1.385400	25.54	8000	0.5699	0.1263
1.354200	28.73	9000	0.5686	0.1219
1.331500	31.92	10000	0.5502	0.1144
1.290800	35.11	11000	0.5371	0.1140
Stop & Train
1.235200	38.30	12000	0.5394	0.1106

Framework versions

Transformers 4.17.0.dev0
Pytorch 1.10.2+cu102
Datasets 1.18.2.dev0
Tokenizers 0.11.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Wav2Vec2ForCTC
Ревизия весов: 6ca1b5a

Характеристики

Ссылки

wav2vec2-xls-r-300m-japanese

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит7

Также подходит для

Карточка модели

Evaluation results (Running ./eval.py):

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить