Характеристики

Параметры: 403 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2111.09296

wav2vec2-xls-r-adult-child-cls

bookbot

Классификация текстаТекст → label4 профессии

Модель классифицирует аудиозаписи речи как речь взрослого или ребёнка.

286скачиваний за 30 дней0лайковвеса обновлены28 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Wav2Vec2 XLS-R Adult/Child Speech Classifier — аудиомодель классификации речи, разработанная Wilson Wongso на основе XLS-R. Модель дообучена на wav2vec2-xls-r-300m для различения речи взрослых и детей. Она принимает аудио и выдаёт класс, определяющий, относится ли речь к взрослому или ребёнку.

Модель содержит 402,7 млн параметров, использует архитектуру Wav2Vec2ForSequenceClassification и распространяется в форматах PyTorch и Safetensors. Для оценки автор приводит точность 94,69% и F1 0,9508 на наборе Adult/Child Speech Classification Dataset. Карточка указывает английский язык. Лицензия — Apache-2.0.

Данные для обучения были частными, поэтому их состав и репрезентативность проверить нельзя. Автор предупреждает, что модель может наследовать смещения из данных предобучения; результаты классификации не следует считать безошибочным определением возраста говорящего.

Сценарии применения

определение, говорит ли на записи взрослый или ребёнок
фильтрация аудиозаписей по категории говорящего
автоматическая разметка аудиоданных для анализа речи

Ограничения

Обучающий набор данных частный, поэтому его состав и репрезентативность нельзя проверить. Модель может наследовать смещения предобучающих данных, а приведённые результаты оценки не гарантируют точность для других аудиозаписей.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wav2Vec2 XLS-R Adult/Child Speech Classifier

Wav2Vec2 XLS-R Adult/Child Speech Classifier is an audio classification model based on the XLS-R architecture. This model is a fine-tuned version of wav2vec2-xls-r-300m on a private adult/child speech classification dataset.

This model was trained using HuggingFace's PyTorch framework. All training was done on a Tesla P100, provided by Kaggle. Training metrics were logged via Tensorboard.

Model

Model	#params	Arch.	Training/Validation data (text)
`wav2vec2-xls-r-adult-child-cls`	300M	XLS-R	Adult/Child Speech Classification Dataset

Evaluation Results

The model achieves the following results on evaluation:

Dataset	Loss	Accuracy	F1
Adult/Child Speech Classification	0.1851	94.69%	0.9508

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.2906	1.0	383	0.1856	0.9372	0.9421
0.1749	2.0	766	0.1925	0.9418	0.9465
0.1681	3.0	1149	0.1893	0.9414	0.9459
0.1295	4.0	1532	0.1851	0.9469	0.9508
0.2031	5.0	1915	0.1944	0.9423	0.9460

Disclaimer

Do consider the biases which came from pre-training datasets that may be carried over into the results of this model.

Authors

Wav2Vec2 XLS-R Adult/Child Speech Classifier was trained and evaluated by Wilson Wongso. All computation and development are done on Kaggle.

Framework versions

Transformers 4.17.0.dev0
Pytorch 1.10.2+cu102
Datasets 1.18.3
Tokenizers 0.11.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры: Wav2Vec2ForSequenceClassification
Ревизия весов: 617ac1d