Характеристики

Параметры: 113 млн
Лицензия: MIT
Архитектура: audio-spectrogram-transformer · dense
Базовая модель: ast-finetuned-audioset-10-10-0.4593
Опубликована: 16 янв 2024

Ссылки

Hugging Face

AST-VoxCelebSpoof-Synthetic-Voice-Detection

MattyB95

Классификация аудиоАудио → label3 профессии

Дообученная AST-модель для классификации аудио и выявления синтетической или поддельной речи.

215скачиваний за 30 дней4лайкавеса обновлены31 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AST-VoxCelebSpoof-Synthetic-Voice-Detection — модель MattyB95 для классификации аудио и обнаружения синтетической речи. Она дообучена на наборе MattyB95/VoxCelebSpoof на основе MIT/ast-finetuned-audioset-10-10-0.4593. Архитектура — Audio Spectrogram Transformer (AST), модель содержит 113,2 млн параметров и распространяется в формате Safetensors.

Модель предназначена для оценки аудиозаписей и различения поддельной или синтетической речи от подлинной. В README приведены результаты на оценочной выборке: точность и F1 по 0,9999, полнота 0,9998 и точность положительных предсказаний 1,0. Эти показатели относятся только к указанной выборке и сами по себе не гарантируют такое же качество на других данных. Лицензия — MIT.

Сценарии применения

выявление синтетической речи в аудиозаписях
проверка голосовых биометрических записей на подделку
фильтрация поддельных голосовых сообщений
классификация аудио по признаку подлинности речи

Ограничения

В README не описаны ограничения и условия оценки; приведённые высокие метрики относятся только к оценочной выборке. Модель может ошибаться на аудио, отличающемся от данных VoxCelebSpoof.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AST-VoxCelebSpoof-Synthetic-Voice-Detection

This model is a fine-tuned version of MIT/ast-finetuned-audioset-10-10-0.4593 on the None dataset. It achieves the following results on the evaluation set:

Loss: 89136693248.0
Accuracy: 0.9999
F1: 0.9999
Precision: 1.0
Recall: 0.9998

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Precision	Recall
2218896740319.232	1.0	29527	611463921664.0	0.9998	0.9998	0.9999	0.9997
522149441830.912	2.0	59054	284563668992.0	0.9997	0.9997	0.9999	0.9996
0.0	3.0	88581	89136693248.0	0.9999	0.9999	1.0	0.9998

Framework versions

Transformers 4.36.2
Pytorch 2.1.2
Datasets 2.16.1
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · audio-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ASTForAudioClassification
Ревизия весов: 507e45b