Характеристики

Параметры: 37,8 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2006.11477

distil-wav2vec2-adult-child-cls-37m

bookbot

Классификация текстаТекст → label3 профессии

Дистиллированная модель wav2vec 2.0 для классификации аудиозаписей речи как взрослой или детской.

12 099скачиваний за 30 дней2лайкавеса обновлены13 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DistilWav2Vec2 Adult/Child Speech Classifier — модель классификации аудио на основе архитектуры wav2vec 2.0, разработанная Ananto Joyoadikusumo. Это дистиллированная версия wav2vec2-adult-child-cls, дообученная на частном наборе данных для различения взрослой и детской речи. Модель содержит около 37,8 млн параметров и опубликована в форматах PyTorch и Safetensors.

Модель предназначена для определения, относится ли голосовая запись к взрослому или ребёнку. В README указана точность 95,89% и F1 0,9624 на наборе оценки Adult/Child Speech Classification. Для использования применяются инструменты экосистемы Hugging Face Transformers. Лицензия — Apache-2.0.

Результаты могут наследовать смещения из данных предварительного обучения; кроме того, оценка приведена на ограниченном наборе данных и не гарантирует такую же точность для других условий записи, языков или групп говорящих.

Сценарии применения

Определение, говорит ли в записи взрослый или ребёнок
Разделение аудиозаписей по категориям взрослой и детской речи
Предварительная классификация голосовых данных для последующей обработки

Ограничения

В README не приведены подробности о составе частного обучающего набора; автор также предупреждает о возможном наследовании смещений из данных предварительного обучения. Указанные метрики получены на наборе оценки Adult/Child Speech Classification и могут не переноситься на другие условия записи и группы говорящих.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DistilWav2Vec2 Adult/Child Speech Classifier 37M

DistilWav2Vec2 Adult/Child Speech Classifier is an audio classification model based on the wav2vec 2.0 architecture. This model is a distilled version of wav2vec2-adult-child-cls on a private adult/child speech classification dataset.

This model was trained using HuggingFace's PyTorch framework. All training was done on a Tesla P100, provided by Kaggle. Training metrics were logged via Tensorboard.

Model

Model	#params	Arch.	Training/Validation data (text)
`distil-wav2vec2-adult-child-cls-37m`	37M	wav2vec 2.0	Adult/Child Speech Classification Dataset

Evaluation Results

The model achieves the following results on evaluation:

Dataset	Loss	Accuracy	F1
Adult/Child Speech Classification	0.1431	95.89%	0.9624

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 128
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.2586	1.0	96	0.2257	0.9298	0.9363
0.1917	2.0	192	0.1743	0.9460	0.9500
0.1568	3.0	288	0.1701	0.9511	0.9545
0.0965	4.0	384	0.1501	0.9548	0.9584
0.1179	5.0	480	0.1431	0.9589	0.9624

Disclaimer

Do consider the biases which came from pre-training datasets that may be carried over into the results of this model.

Authors

DistilWav2Vec2 Adult/Child Speech Classifier was trained and evaluated by Ananto Joyoadikusumo. All computation and development are done on Kaggle.

Framework versions

Transformers 4.16.2
Pytorch 1.10.2+cu102
Datasets 1.18.3
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры: Wav2Vec2ForSequenceClassification
Ревизия весов: 5410bd5