/ Модель

Характеристики

Параметры
113 млн
Лицензия
MIT
Архитектура
wav2vec2 · dense
Опубликована
17 мар 2026

deepfake-audio-wav2vec2

Классификация текстаТекст → label3 профессии

Модель на базе Wav2Vec2 классифицирует аудио как подлинную речь или дипфейк для проверки аутентичности голосовых записей.

1 587скачиваний за 30 дней1лайквеса обновлены17 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Deepfake-Audio-Wav2Vec2 — модель классификации аудио, дообученная автором репозитория на базе facebook/wav2vec2-base для различения подлинной и поддельной речи. Архитектура Wav2Vec2ForSequenceClassification содержит 113,3 млн параметров; модель принимает аудио и относит его к одному из двух классов: Bonafide (подлинная запись) или Spoof (синтетическая либо изменённая запись).

Модель предназначена для обнаружения дипфейков голоса, проверки подлинности аудиозаписей и использования в системах защиты голосовых сервисов. В README указаны обучение на сбалансированной части ASVspoof 2021 PA с примерами подлинной речи, синтетических и манипулированных записей, а также метрики accuracy 92,8%, precision 89,7% и recall 88,0%. Эти результаты не гарантируют такую же точность на других данных и сценариях.

Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

Сценарии применения

  • обнаружение синтетической речи в аудиозаписях
  • проверка подлинности голосового сообщения
  • выявление подмены или повторного воспроизведения речи
  • фильтрация подозрительных аудиозаписей в голосовом сервисе
  • оценка систем защиты от аудиоспуфинга

Ограничения

В README приведены метрики на обучающей выборке, но не описаны независимая проверка и устойчивость к новым типам атак или условиям записи. Модель предназначена для классификации речи и может ошибаться на данных, отличающихся от ASVspoof 2021 PA.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🧾 Model Card — Deepfake-Audio-Wav2Vec2


🧠 Model Overview

Deepfake-Audio-Wav2Vec2 is a fine-tuned audio classification model trained to detect real vs spoofed (deepfake) speech audio.

The model is built on top of facebook/wav2vec2-base, a self-supervised speech representation model, and adapted for binary deepfake audio detection.

It learns subtle acoustic artifacts and synthetic speech patterns that differentiate genuine human recordings from AI-generated or manipulated audio samples.

This model is intended for:

  • Deepfake voice detection
  • Audio authenticity verification
  • Research in anti-spoofing systems
  • Security pipelines for voice-based applications

🏗️ Training Details

ParameterValue
Base Modelfacebook/wav2vec2-base
FrameworkHugging Face Transformers
Training HardwareGPU (CUDA)
Task TypeAudio Classification
Classesbonafide / spoof
Audio Sample Rate16 kHz
Input DurationFixed audio segments
OptimizationAdamW
Loss FunctionCross Entropy

🎯 Label Classes

  • 🟢 Bonafide → Real / authentic speech
  • 🔴 Spoof → Deepfake / synthetic audio

📊 Evaluation Metrics

MetricScore
Accuracy92.8%
Precision89.7%
Recall88.0%
F1 Score88.4%

✅ The model demonstrates strong detection performance across real and spoofed samples.


📂 Dataset Description

The model was trained on a balanced subset of the ASVspoof 2021 PA dataset for binary anti-spoofing classification.

The dataset includes:

  • Genuine speech recordings
  • Spoofed / manipulated audio samples
  • Replay and synthetic attack scenarios

Training was performed on balanced class samples to improve robustness across both labels.


💻 Example Usage

import torch
import torchaudio
import numpy as np
from transformers import AutoFeatureExtractor, AutoModelForAudioClassification

model_id = "Vansh180/deepfake-audio-wav2vec2"

feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = AutoModelForAudioClassification.from_pretrained(model_id)

model.eval()

def predict_audio(audio_path):
    wav, sr = torchaudio.load(audio_path)

    if wav.shape[0] > 1:
        wav = wav.mean(dim=0, keepdim=True)

    inputs = feature_extractor(
        wav.squeeze().numpy(),
        sampling_rate=16000,
        return_tensors="pt"
    )

    with torch.no_grad():
        outputs = model(**inputs)
        probs = torch.softmax(outputs.logits, dim=1)

    prediction = torch.argmax(probs, dim=1).item()
    confidence = probs[0][prediction].item()

    return {
        "prediction": model.config.id2label[prediction],
        "confidence": confidence
    }

print(predict_audio("sample.wav"))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Для архитектуры wav2vec2 нет загрузчика под задачу text-classification.

Класс архитектуры
Wav2Vec2ForSequenceClassification
Ревизия весов
e1197e2

0 моделей