Характеристики

Параметры: 403 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense
Опубликована: 17 мар 2022

Ссылки

xtreme_s_xlsr_300m_minds14

Классификация текстаТекст → label3 профессии

Дообученный Wav2Vec2-классификатор для отнесения речевых аудиозаписей к классам набора MINDS14 на 14 языковых вариантах.

203скачиваний за 30 дней3лайкавеса обновлены3 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель anton-l/xtreme_s_xlsr_300m_minds14 — классификатор аудио на базе архитектуры Wav2Vec2. Её разработчик дообучил facebook/wav2vec2-xls-r-300m на наборе GOOGLE/XTREME_S - MINDS14.ALL; размер модели составляет 402,7 млн параметров. Модель предназначена для классификации речевых аудиозаписей по классам набора MINDS14.

На оценочной выборке указаны точность 90,33% и F1 0,9015. Оценки приведены отдельно для вариантов речи на чешском, немецком, английском, испанском, французском, итальянском, корейском, нидерландском, польском, португальском, русском и китайском языках; результаты различаются, в частности, ниже для китайского и русского. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

Сценарии применения

классификация речевых записей из набора MINDS14
определение класса пользовательского голосового запроса
оценка классификатора речи на нескольких языковых вариантах

Ограничения

Показатели относятся к оценочной выборке MINDS14 и не гарантируют такое же качество на других данных. Качество неодинаково между языковыми вариантами: в README приведены более низкие результаты для китайского и русского.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xtreme_s_xlsr_300m_minds14

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the GOOGLE/XTREME_S - MINDS14.ALL dataset. It achieves the following results on the evaluation set:

Accuracy: 0.9033
Accuracy Cs-cz: 0.9164
Accuracy De-de: 0.9477
Accuracy En-au: 0.9235
Accuracy En-gb: 0.9324
Accuracy En-us: 0.9326
Accuracy Es-es: 0.9177
Accuracy Fr-fr: 0.9444
Accuracy It-it: 0.9167
Accuracy Ko-kr: 0.8649
Accuracy Nl-nl: 0.9450
Accuracy Pl-pl: 0.9146
Accuracy Pt-pt: 0.8940
Accuracy Ru-ru: 0.8667
Accuracy Zh-cn: 0.7291
F1: 0.9015
F1 Cs-cz: 0.9154
F1 De-de: 0.9467
F1 En-au: 0.9199
F1 En-gb: 0.9334
F1 En-us: 0.9308
F1 Es-es: 0.9158
F1 Fr-fr: 0.9436
F1 It-it: 0.9135
F1 Ko-kr: 0.8642
F1 Nl-nl: 0.9440
F1 Pl-pl: 0.9159
F1 Pt-pt: 0.8883
F1 Ru-ru: 0.8646
F1 Zh-cn: 0.7249
Loss: 0.4119
Loss Cs-cz: 0.3790
Loss De-de: 0.2649
Loss En-au: 0.3459
Loss En-gb: 0.2853
Loss En-us: 0.2203
Loss Es-es: 0.2731
Loss Fr-fr: 0.1909
Loss It-it: 0.3520
Loss Ko-kr: 0.5431
Loss Nl-nl: 0.2515
Loss Pl-pl: 0.4113
Loss Pt-pt: 0.4798
Loss Ru-ru: 0.6470
Loss Zh-cn: 1.1216
Predict Samples: 4086

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0003
train_batch_size: 32
eval_batch_size: 8
seed: 42
distributed_type: multi-GPU
num_devices: 2
total_train_batch_size: 64
total_eval_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 1500
num_epochs: 50.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Accuracy
2.6739	5.41	200	2.5687	0.0430	0.1190
1.4953	10.81	400	1.6052	0.5550	0.5692
0.6177	16.22	600	0.7927	0.8052	0.8011
0.3609	21.62	800	0.5679	0.8609	0.8609
0.4972	27.03	1000	0.5944	0.8509	0.8523
0.1799	32.43	1200	0.6194	0.8623	0.8621
0.1308	37.84	1400	0.5956	0.8569	0.8548
0.2298	43.24	1600	0.5201	0.8732	0.8743
0.0052	48.65	1800	0.3826	0.9106	0.9103

Framework versions

Transformers 4.18.0.dev0
Pytorch 1.10.2+cu113
Datasets 2.0.1.dev0
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры: Wav2Vec2ForSequenceClassification
Ревизия весов: b097818