Характеристики

Параметры: 56,6 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2006.11477

distil-wav2vec2-adult-child-cls-52m

bookbot

Классификация текстаТекст → label3 профессии

Дистиллированная wav2vec 2.0 модель классифицирует речевые аудиозаписи как речь взрослого или ребёнка.

111скачиваний за 30 дней0лайковвеса обновлены20 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DistilWav2Vec2 Adult/Child Speech Classifier — модель аудиоклассификации, разработанная Wilson Wongso на основе архитектуры wav2vec 2.0. Это дистиллированная версия wav2vec2-adult-child-cls, дообученная на частном наборе аудиозаписей для классификации речи взрослых и детей. В модели около 56,6 млн параметров; она обучена с использованием PyTorch и распространяется в форматах PyTorch и Safetensors.

Модель предназначена для определения, принадлежит ли речевая запись взрослому или ребёнку. В README приведены результаты оценки на наборе Adult/Child Speech Classification: точность 96,03% и F1 0,9639. Поддерживаемый язык — английский. Лицензия — Apache-2.0.

Результаты могут зависеть от характеристик записи и смещения, унаследованного от данных предварительного обучения; обучающий набор указан как частный, поэтому его состав и репрезентативность нельзя проверить по карточке.

Сценарии применения

определение, говорит ли на записи взрослый или ребёнок
классификация англоязычных речевых записей по возрастной группе говорящего
предварительная сортировка речевых аудиозаписей для последующего анализа

Ограничения

README приводит метрики только на наборе Adult/Child Speech Classification и предупреждает о возможных смещениях из данных предварительного обучения. Обучающие данные частные, поэтому их состав и репрезентативность по карточке проверить нельзя.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DistilWav2Vec2 Adult/Child Speech Classifier 52M

DistilWav2Vec2 Adult/Child Speech Classifier is an audio classification model based on the wav2vec 2.0 architecture. This model is a distilled version of wav2vec2-adult-child-cls on a private adult/child speech classification dataset.

This model was trained using HuggingFace's PyTorch framework. All training was done on a Tesla P100, provided by Kaggle. Training metrics were logged via Tensorboard.

Model

Model	#params	Arch.	Training/Validation data (text)
`distil-wav2vec2-adult-child-cls-52m`	52M	wav2vec 2.0	Adult/Child Speech Classification Dataset

Evaluation Results

The model achieves the following results on evaluation:

Dataset	Loss	Accuracy	F1
Adult/Child Speech Classification	0.1301	96.03%	0.9639

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 128
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.212	1.0	96	0.1561	0.9561	0.9596
0.1523	2.0	192	0.1408	0.9575	0.9616
0.0844	3.0	288	0.1301	0.9603	0.9639

Disclaimer

Do consider the biases which came from pre-training datasets that may be carried over into the results of this model.

Authors

DistilWav2Vec2 Adult/Child Speech Classifier was trained and evaluated by Wilson Wongso. All computation and development are done on Kaggle.

Framework versions

Transformers 4.16.2
Pytorch 1.10.2+cu102
Datasets 1.18.3
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры: Wav2Vec2ForSequenceClassification
Ревизия весов: 0e8f954