/ Модель
Каталог

Характеристики

Параметры
113 млн
Лицензия
Apache 2.0
Архитектура
wav2vec2 · dense
Базовая модель
wav2vec2-base
Опубликована
10 мая 2024

Ссылки

Hugging Face

Deepfake-audio-detection

Hemgg
Классификация текстаТекст → label3 профессии

Дообученная wav2vec2-модель классифицирует аудиозаписи для обнаружения дипфейковой речи.

12 934скачиваний за 30 дней4лайкавеса обновлены11 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hemgg/Deepfake-audio-detection — модель классификации аудио, созданная дообучением facebook/wav2vec2-base на датасете audiofolder. Она предназначена для обнаружения дипфейкового аудио и различения поддельных и подлинных записей речи. Архитектура Wav2Vec2ForSequenceClassification содержит 113,3 млн параметров; модель принимает аудио с частотой дискретизации около 16 кГц. В README приведены точность 0,9545 и loss 0,2288 на оценочном наборе.

Обучающие данные описаны как англоязычный набор речи с участниками разных этнических групп. Автор отмечает, что для повышения точности модели требуется расширение датасета. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • проверка аудиозаписи на признаки синтезированной речи
  • классификация записи как поддельной или подлинной
  • первичная проверка подозрительных голосовых сообщений

Ограничения

Автор указывает, что для повышения точности требуется расширить обучающий датасет. Оценка приведена на одном наборе данных, поэтому качество на других языках и типах записей может отличаться.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232моделиIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейIV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deeepfake-audio-Recognition

This model is a fine-tuned version of facebook/wav2vec2-base on the audiofolder dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2288
  • Accuracy: 0.9545

Model description

  • The model is fintune on facebook/wav2vec2-base

Intended uses & limitations

  • The model still needs dataset to increase model accuracy.

Training and evaluation data

  • The model is trained on multi-ethnic english dataset.
  • The input audio dataset is about 16KHz.

Framework versions

  • Transformers 4.39.2
  • Pytorch 2.2.1+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры
Wav2Vec2ForSequenceClassification
Ревизия весов
0d75271

0 моделей

    Создать бенчмарк