Характеристики

Параметры: 18,9 млн
Лицензия: Apache 2.0
Архитектура: hubert · dense

Ссылки

Hugging Face

distilhubert-ft-keyword-spotting

anton-l

Классификация текстаТекст → label3 профессии

Компактная дообученная модель HuBERT для классификации аудио и обнаружения ключевых слов в звуковом сигнале.

42скачиваний за 30 дней1лайквеса обновлены27 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель anton-l/distilhubert-ft-keyword-spotting — дообученная на наборе данных SUPERB версия ntu-spml/distilhubert для классификации аудио при обнаружении ключевых слов. Она построена на архитектуре HuBERT и содержит 18,9 млн параметров. В README указаны точность 0,9706 и значение функции потерь 0,1163 на оценочном наборе.

Модель принимает аудио и выдаёт метку класса, поэтому подходит для обнаружения заданных слов или команд в аудиосигнале. Использует библиотеку Transformers и распространяется по лицензии Apache-2.0. Подробности о поддерживаемых ключевых словах и ограничениях в карточке не приведены.

Сценарии применения

обнаружение ключевых слов в аудиозаписях
распознавание голосовых команд
классификация аудиосегментов по целевым словам

Ограничения

В карточке не перечислены поддерживаемые ключевые слова и условия оценки, поэтому точность на других данных не установлена. Показатели README относятся только к оценочному набору SUPERB.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilhubert-ft-keyword-spotting

This model is a fine-tuned version of ntu-spml/distilhubert on the superb dataset. It achieves the following results on the evaluation set:

Loss: 0.1163
Accuracy: 0.9706

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 256
eval_batch_size: 32
seed: 0
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 5.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.8176	1.0	200	0.7718	0.8116
0.2364	2.0	400	0.2107	0.9662
0.1198	3.0	600	0.1374	0.9678
0.0891	4.0	800	0.1163	0.9706
0.085	5.0	1000	0.1180	0.9690

Framework versions

Transformers 4.12.0.dev0
Pytorch 1.9.1+cu111
Datasets 1.14.0
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры hubert нет загрузчика под задачу text-classification.

Класс архитектуры: HubertForSequenceClassification
Ревизия весов: a2c3a20