Характеристики

Параметры: 113 млн
Лицензия: Apache 2.0
Архитектура: wav2vec2 · dense
Базовая модель: wav2vec2_ASV_deepfake_audio_detection
Опубликована: 23 авг 2024

Ссылки

Hugging Face

wav2vec2_ASV_deepfake_audio_detection_DF_finetune_frozen

Bisher

Классификация текстаТекст → label3 профессии

Дообученная модель Wav2Vec2 классифицирует аудио для выявления поддельной речи.

13скачиваний за 30 дней0лайковвеса обновлены23 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Bisher разработала модель Bisher/wav2vec2_ASV_deepfake_audio_detection_DF_finetune_frozen — дообученную версию Bisher/wav2vec2_ASV_deepfake_audio_detection на базе архитектуры Wav2Vec2 для классификации аудио с целью выявления поддельной речи. Модель содержит 113,3 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0.

Модель предназначена для автоматической проверки аудиозаписей на подлинность речи. В README приведены результаты оценки: accuracy 0,9115, F1 0,8803, EER 0,0588 и ROC AUC 0,9849. Данные обучения и подробности об условиях оценки не описаны, поэтому результаты нельзя напрямую переносить на другие наборы аудио.

Сценарии применения

проверка аудиозаписей на поддельную речь
классификация речи как подлинной или синтетической
оценка риска подмены голоса в аудиозаписи

Ограничения

Датасет и подробности оценки не описаны, поэтому приведённые метрики могут не отражать качество на других аудиоданных. Языки речи и ограничения применения не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

wav2vec2_ASV_deepfake_audio_detection_DF_finetune_frozen

This model is a fine-tuned version of Bisher/wav2vec2_ASV_deepfake_audio_detection on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.4076
Accuracy: 0.9115
Precision: 0.9131
Recall: 0.9115
F1: 0.8803
Tp: 265
Tn: 17893
Fn: 1742
Fp: 20
Eer: 0.0588
Min Tdcf: 0.0271
Auc Roc: 0.9849

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 152
eval_batch_size: 152
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 608
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 3
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Precision	Recall	F1	Tp	Tn	Fn	Fp	Eer	Min Tdcf	Auc Roc
0.025	0.0490	10	0.3573	0.9139	0.9168	0.9139	0.8847	308	17896	1699	17	0.0826	0.0329	0.9732
0.0219	0.0979	20	0.3002	0.9152	0.9172	0.9152	0.8875	339	17891	1668	22	0.0757	0.0321	0.9759
0.0193	0.1469	30	0.3557	0.9159	0.9178	0.9159	0.8889	354	17890	1653	23	0.0710	0.0320	0.9541
0.0197	0.1958	40	0.3963	0.9191	0.9206	0.9191	0.8951	423	17885	1584	28	0.0802	0.0325	0.9453
0.0181	0.2448	50	0.3524	0.9155	0.9176	0.9155	0.8882	346	17891	1661	22	0.0673	0.0324	0.9794
0.0152	0.2938	60	0.5161	0.9050	0.9102	0.9050	0.8654	119	17908	1888	5	0.0857	0.0314	0.9582
0.0155	0.3427	70	0.6375	0.9037	0.9120	0.9037	0.8622	90	17912	1917	1	0.1395	0.0307	0.9384
0.0193	0.3917	80	0.3521	0.9119	0.9153	0.9119	0.8808	267	17899	1740	14	0.0643	0.0309	0.9816
0.0158	0.4406	90	0.3775	0.9066	0.9113	0.9066	0.8692	154	17906	1853	7	0.0613	0.0290	0.9839
0.017	0.4896	100	0.4076	0.9115	0.9131	0.9115	0.8803	265	17893	1742	20	0.0588	0.0271	0.9849

Framework versions

Transformers 4.44.0
Pytorch 2.4.0
Datasets 2.21.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры: Wav2Vec2ForSequenceClassification
Ревизия весов: e784ba7