Характеристики

Параметры: 113 млн
Лицензия: BSD 3-Clause
Архитектура: audio-spectrogram-transformer · dense
Опубликована: 3 июл 2023

Ссылки

Hugging Face

ast-finetuned-audioset-10-10-0.4593-finetuned-gtzan

ptah23

Классификация аудиоАудио → label3 профессии

AST-модель, дообученная на GTZAN для классификации музыкальных жанров по аудио.

19скачиваний за 30 дней1лайквеса обновлены30 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана как дообученная версия MIT/ast-finetuned-audioset-10-10-0.4593 на наборе данных GTZAN. Это аудиоклассификатор на архитектуре Audio Spectrogram Transformer (AST) с 113,2 млн параметров, предназначенный для распознавания музыкальных жанров. На оценочной выборке GTZAN указаны точность 0,9 и функция потерь 0,3548. Модель принимает аудио и выдаёт метку класса; в карточке указан набор данных GTZAN, используемый для классификации музыкальных жанров. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — BSD 3-Clause.

Сценарии применения

определение жанра музыкальной записи
автоматическая сортировка музыкальной библиотеки по жанрам
разметка музыкальных фрагментов для каталога
анализ жанрового состава аудиоколлекции

Ограничения

Показатели точности 0,9 и функции потерь 0,3548 приведены для оценочной выборки GTZAN; качество на других наборах и типах аудио в карточке не описано. Модель предназначена для классификации жанров и может не подходить для иных задач распознавания звука.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ast-finetuned-audioset-10-10-0.4593-finetuned-gtzan

This model is a fine-tuned version of MIT/ast-finetuned-audioset-10-10-0.4593 on the GTZAN dataset. It achieves the following results on the evaluation set:

Loss: 0.3548
Accuracy: 0.9

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.9569	1.0	112	0.6467	0.77
0.5441	2.0	225	0.5895	0.8
0.4536	3.0	337	0.4070	0.82
0.1096	4.0	450	0.3812	0.89
0.0116	5.0	562	1.1661	0.78
0.0165	6.0	675	0.4822	0.91
0.1206	7.0	787	0.5000	0.88
0.0001	8.0	900	0.4074	0.89
0.2068	9.0	1012	0.4769	0.87
0.0001	10.0	1125	0.3743	0.89
0.0001	11.0	1237	0.3673	0.89
0.0001	12.0	1350	0.3952	0.91
0.0001	13.0	1462	0.3710	0.91
0.0001	14.0	1575	0.3460	0.92
0.0	15.0	1687	0.3481	0.92
0.0	16.0	1800	0.3473	0.92
0.0	17.0	1912	0.3491	0.91
0.0	18.0	2025	0.3507	0.91
0.0	19.0	2137	0.3548	0.9
0.0001	19.91	2240	0.3548	0.9

Framework versions

Transformers 4.31.0.dev0
Pytorch 1.12.1+cu116
Datasets 2.4.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ASTForAudioClassification
Ревизия весов: c25fa10