/ Модель
Каталог

Характеристики

Параметры
403 млн
Лицензия
Apache 2.0
Архитектура
wav2vec2 · dense
Опубликована
4 апр 2022

Ссылки

Hugging Face

xtreme_s_xlsr_300m_fleurs_langid_quicker_warmup

anton-l
Классификация текстаТекст → label8 профессий

Дообученная wav2vec 2.0 модель для определения языка по аудиозаписи.

22скачиваний за 30 дней0лайковвеса обновлены5 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель anton-l/xtreme_s_xlsr_300m_fleurs_langid_quicker_warmup — дообученная на наборе XTREME-S модель классификации аудио на базе facebook/wav2vec2-xls-r-300m. Она предназначена для определения языка по аудиозаписи. В метаданных указаны архитектура Wav2Vec2ForSequenceClassification и 402,7 млн параметров; репозиторий содержит веса PyTorch. Модель опубликована под лицензией Apache-2.0.

В README приведён результат оценки на тестовой выборке: точность 0,6199 при значении функции потерь 1,9765. Описание модели, обучающих данных и ограничений в карточке не раскрыто, поэтому её качество на других данных и набор поддерживаемых языков по имеющимся сведениям установить нельзя.

Сценарии применения

  • определение языка в короткой аудиозаписи
  • автоматическая сортировка аудиозаписей по языку
  • предварительная классификация речи перед распознаванием

Ограничения

Точность на указанной в README оценочной выборке составляет 0,6199; качество на других данных не приводится. Поддерживаемые языки и подробные ограничения в карточке не описаны.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xtreme_s_xlsr_300m_fleurs_langid_quicker_warmup

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the xtreme_s dataset. It achieves the following results on the evaluation set:

  • Loss: 1.9765
  • Accuracy: 0.6199

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 4
  • eval_batch_size: 1
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 8
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 64
  • total_eval_batch_size: 8
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1000
  • num_epochs: 10.0
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepAccuracyValidation Loss
0.66440.2610000.30713.2482
0.3940.5220000.59481.8833
0.10340.7830000.62971.5852
0.10881.0440000.59921.7903
0.00321.350000.63561.6219
0.18131.5660000.57881.8168
0.06541.8270000.62341.6089
0.01442.0880000.64241.6071
0.00192.3490000.58221.7820
0.01592.6100000.60431.8407
0.00292.86110000.58451.8600
0.04583.12120000.62991.6591
0.0133.38130000.59032.0788
0.0033.64140000.61881.7645
0.00153.9150000.63281.7739
0.00034.16160000.60721.8742
0.00054.42170000.62311.7102
0.0064.68180000.61221.6909
0.23674.93190000.60291.9891
0.0055.19200000.62201.7245
0.08135.45210000.57392.0495
0.12335.71220000.61041.9601
0.00035.97230000.59241.8881
0.00036.23240000.60551.9568
0.00016.49250000.60861.8489
0.21986.75260000.62921.8048
0.02617.01270002.02840.5989
0.00017.27280001.73230.6431
0.00017.53290001.93290.6310
0.00117.79300001.92560.6107
0.09338.05310002.39150.5896
0.00018.31320001.99480.6021
0.00038.57330001.95180.6126
0.00058.83340001.89350.6243
0.09.09350002.01770.6144
0.00029.35360002.02340.6174
0.09.61370001.95680.6216
0.09.87380001.97650.6199

Framework versions

  • Transformers 4.18.0.dev0
  • Pytorch 1.11.0+cu113
  • Datasets 1.18.4.dev0
  • Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры
Wav2Vec2ForSequenceClassification
Ревизия весов
e671720

0 моделей

    Создать бенчмарк