Характеристики

Параметры: 113 млн
Лицензия: BSD 3-Clause
Архитектура: audio-spectrogram-transformer · dense
Базовая модель: ast-finetuned-audioset-10-10-0.4593
Опубликована: 20 июл 2024

Ссылки

Hugging Face

AST-ASVspoof5-Synthetic-Voice-Detection

MattyB95

Классификация аудиоАудио → label3 профессии

Дообученная AST-модель классифицирует аудио для обнаружения синтетической речи.

383скачиваний за 30 дней4лайкавеса обновлены21 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MattyB95/AST-ASVspoof5-Synthetic-Voice-Detection — модель классификации аудио, дообученная на наборе audiofolder на базе MIT/ast-finetuned-audioset-10-10-0.4593. Она использует архитектуру Audio Spectrogram Transformer на основе Vision Transformer и содержит 113,2 млн параметров.

Модель предназначена для классификации аудиозаписей в задаче обнаружения синтетической речи, что может быть полезно для проверки голосовых сообщений и аудиоматериалов. В README приведены результаты оценки: accuracy 0,8333, F1 0,8892, precision 0,9209 и recall 0,8595.

Модель принимает аудио и выдаёт результат классификации. Язык лицензии — BSD-3-Clause. В карточке не описаны конкретные классы, условия оценки и ограничения применимости результатов.

Сценарии применения

проверка голосовых сообщений на синтетическую речь
поиск сгенерированных голосовых фрагментов в аудиозаписях
классификация аудио для анализа подлинности голоса

Ограничения

README не уточняет набор классов и протокол оценки; приведённые метрики не описывают качество на других данных и условиях записи.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AST-ASVspoof5-Synthetic-Voice-Detection

This model is a fine-tuned version of MIT/ast-finetuned-audioset-10-10-0.4593 on the audiofolder dataset. It achieves the following results on the evaluation set:

Loss: 2.2821
Accuracy: 0.8333
F1: 0.8892
Precision: 0.9209
Recall: 0.8595

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Precision	Recall
0.0042	1.0	22795	1.6954	0.8470	0.8942	0.9672	0.8314
0.0	2.0	45590	1.5632	0.8489	0.9014	0.9157	0.8875
0.0	3.0	68385	2.2821	0.8333	0.8892	0.9209	0.8595

Framework versions

Transformers 4.42.4
Pytorch 2.3.1+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ASTForAudioClassification
Ревизия весов: f8187e7