Характеристики

Параметры: 113 млн
Лицензия: MIT
Архитектура: vit · dense
Базовая модель: vit-base-patch16-224-in21k
Опубликована: 23 янв 2024

Ссылки

Hugging Face

VIT-VoxCelebSpoof-ConstantQ-Synthetic-Voice-Detection

MattyB95

Классификация изображенийИзображение → label3 профессии

Vision Transformer классифицирует изображения Constant-Q-преобразований, чтобы обнаруживать синтетическую речь.

160скачиваний за 30 дней0лайковвеса обновлены31 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MattyB95/VIT-VoxCelebSpoof-ConstantQ-Synthetic-Voice-Detection — дообученная модель Vision Transformer на базе google/vit-base-patch16-224-in21k с 113,2 млн параметров. Она классифицирует изображения Constant-Q-преобразований аудиосигнала, чтобы отличать синтетический голос от подлинной речи; связана с набором данных MattyB95/VoxCelebSpoof. Несмотря на задачу обнаружения поддельной речи, модель принимает изображения спектрограмм, а не аудио напрямую.

В README приведены метрики на оценочном наборе: accuracy, F1, precision и recall — 1,0, loss — 0,0000. Эти результаты относятся только к указанному набору и не гарантируют аналогичного качества на других данных. Модель опубликована в формате safetensors под лицензией MIT.

Сценарии применения

проверка спектрограммы на признаки синтетической речи
классификация Constant-Q-изображений аудиозаписей
анализ примеров из набора VoxCelebSpoof

Ограничения

Модель классифицирует изображения, а не аудиосигнал напрямую. Метрики README получены на оценочном наборе и не подтверждают качество на других данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VIT-VoxCelebSpoof-ConstantQ-Synthetic-Voice-Detection

This model is a fine-tuned version of google/vit-base-patch16-224-in21k on the None dataset. It achieves the following results on the evaluation set:

Accuracy: 1.0
F1: 1.0
Loss: 0.0000
Precision: 1.0
Recall: 1.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Epoch	Step	Accuracy	F1	Validation Loss	Precision	Recall
1.0	29527	0.9999	0.9999	0.0006	0.9999	1.0
2.0	59054	1.0000	1.0000	0.0002	1.0	0.9999
3.0	88581	1.0	1.0	0.0000	1.0	1.0

Framework versions

Transformers 4.37.0
Pytorch 2.1.2+cu121
Datasets 2.16.1
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ViTForImageClassification
Ревизия весов: ce8f2d3