/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Базовая модель
wavlm-large
Библиотека
pytorch
Опубликована
1 сен 2026

forensics_0.3B_v2_deepfake_age_gender_classifier

Классификация аудиоАудио → label

Модель анализирует аудио для выявления синтетической речи и одновременно оценивает возраст и класс пола говорящего.

0скачиваний за 30 дней2лайкавеса обновлены25 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель eliya/forensics_0.3B_v2_deepfake_age_gender_classifier разработана автором семейства Forensics для анализа аудио. Она дообучена на базе microsoft/wavlm-large примерно с 300 млн параметров; для объединения признаков применяется графовое внимание AASIST, а дополнительные выходы оценивают возраст и класс пола говорящего. Модель классифицирует аудио как подлинное или синтетическое и рассчитана на выявление подделок, созданных современными системами синтеза речи, включая qwen3, voxcpm и omnivoice; обучение также охватывало музыку и окружающие звуки.

В одном проходе модель выдаёт оценку подлинности аудио, оценку возраста и класс пола из категорий «женщина», «мужчина» и «ребёнок». В README заявлены точность выше 99% на отдельных тестовых наборах этих новых TTS-систем и низкий EER на нескольких внешних наборах, однако эти результаты приведены автором и могут не переноситься на другие данные и условия записи. Репозиторий закрыт для доступа до одобрения запроса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Сценарии применения

  • выявление речи, сгенерированной системами qwen3, voxcpm и omnivoice
  • проверка аудиозаписей на признаки дипфейка
  • оценка возраста говорящего по аудио
  • классификация голоса по категориям «женщина», «мужчина» и «ребёнок»
  • анализ аудио с музыкой или окружающими звуками на признаки синтетического происхождения

Ограничения

Доступ к репозиторию требует одобрения запроса, а лицензия CC BY-NC 4.0 запрещает коммерческое использование. Заявленные результаты относятся к конкретным тестовым наборам; качество оценки возраста и пола зависит от аудиоданных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

forensics_0.3B_v2_deepfake_age_gender_classifier

Deepfake detection + speaker age & gender - hardened against the newest open-source TTS systems

🔒 Gated — access requires approval. Latest release — Q3 2026.

The newest, most advanced model in the Forensics family. Purpose-built and tested against the latest open-source TTS/voice-synthesis engines — qwen3, voxcpm, and omnivoice — plus AI-generated music as an additional adversarial signal, this model achieves state-of-the-art results against the latest open-source TTS models: 99%+ accuracy on the held-out test set of each. This is the sharpest edge of the Forensics family against next-generation synthetic voice.

On top of real/fake detection, it estimates the speaker's age and gender in the same forward pass — one model, three outputs.

Access to this repo requires manual approval. Submit a request from the repo page and it'll be reviewed directly.

  • Backbone: microsoft/wavlm-large (~300M params, fully unfrozen)
  • Pooling: AASIST graph-attention
  • Extra heads: age (regression) + gender (female / male / child)

Part of the Forensics family

ModelUse it for
forensics_0.3B_base_deepfake_classifiergeneral-purpose default
forensics_0.3B_xlsr_wild_deepfake_classifieruncontrolled / real-world audio
forensics_0.3B_v2_deepfake_age_gender_classifier 🆕 (this model, gated)speaker age/gender, hardened against the newest TTS threats — our latest release
forensics_0.3B_wavlm_oc_softmax_deepfake_classifiertighter bonafide boundary, ensembling

Full family: huggingface.co/collections/eliya/forensics-speech-deepfake-detection-family

Training

Trained using an agentic training loop — see eliyasegev/autotrain.

Multi-task objective: cross-entropy + OC-Softmax + supervised contrastive for deepfake detection, plus a regression loss for age and a classification loss for gender — all trained jointly.

Trained on 5M+ speech samples spanning a mix of proprietary and publicly available data — some of our own self-created data has been open-sourced as well. Built for robustness against a wide range of TTS generation methods — including some of the most advanced synthesis techniques available today, plus the newest TTS engines (qwen3, voxcpm, omnivoice). Also trained on environmental sound and music, extending fake-detection beyond speech to those domains as well. Every row additionally carries age/gender labels. AdamW, cosine LR schedule, and the full Forensics augmentation stack (codec transcoding, noise augmentation, RIR, RawBoost, SpecAugment, FreqMask, splice/mix, cross-class splice).

Results

Deepfake-detection EER across the standard external benchmark suite:

Eval setEER %
Val (held-out)1.11
MLAAD (v7)0.71
CodecFake0.81
DFADD0.00
MD-CommonVoice0.35
In-the-Wild2.20
ASVspoof2019-LA0.85
ASVspoof2021-LA3.49
ASVspoof202414.09
ADD2022-Track116.86
ADD2022-Track32.88
ADD2023-Round15.53
ADD2023-Round211.60
LibriSeVoc0.08
SONAR1.14
Avg (all sets)4.11
Avg (external only)4.33

On the three newest-TTS test sets (qwen3, voxcpm, omnivoice) — the threats this model was specifically hardened against — accuracy exceeds 99%. Age/gender evaluation plots are included alongside the model weights.

Files in this repo

filepurpose
checkpoint_epoch_9.safetensorsmodel weights, safe format
checkpoint_epoch_9.ptmodel weights, legacy pickle
config.jsonminimal architecture metadata (also used by the Hub to track downloads)
inference.pyrun script — prefers the .safetensors file automatically
model.pyarchitecture
requirements.txtdeps

Setup

pip install -r requirements.txt   # torch, torchaudio, transformers, safetensors
hf download eliya/forensics_0.3B_v2_deepfake_age_gender_classifier --local-dir .

(This is a gated repo — you'll need an approved access request before the download works.)

Run

python inference.py <audio.wav>

(Optionally override the checkpoint: python inference.py <audio.wav> <checkpoint.pt>.)

Audio is auto-converted to mono / 16 kHz and trimmed/padded to 5 s.

Output

fake_probability: <0..1>      # threshold is domain-dependent — adjust to your use case; ~0.1-0.2 is usually the best range
bonafide_score:   <0..1>      # raw P(real)
verdict: REAL | FAKE
age_years: <n>
gender: female | male | child  (conf ..)

Example

$ python inference.py real_human.wav
fake_probability: 0.1022
bonafide_score:   0.8978
verdict: REAL

$ python inference.py designed_tts_voice.wav
fake_probability: 0.8646
bonafide_score:   0.1354
verdict: FAKE
age_years: 34
gender: male  (conf 0.98)

Higher fake_probability = more likely a deepfake. Score is 1 − sigmoid(logit), since the classifier is trained with label 1 = real, 0 = fake.

References

  • WavLM: Chen et al., 2022, "WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing", arXiv:2110.13900
  • AASIST: Jung et al., 2021 (ICASSP 2022), "AASIST: Audio Anti-Spoofing Using Integrated Spectro-Temporal Graph Attention Networks", arXiv:2110.01200
  • OC-Softmax: Zhang et al., 2020 (IEEE SPL 2021), "One-Class Learning Towards Synthetic Voice Spoofing Detection", arXiv:2010.13995
  • Supervised Contrastive Learning: Khosla et al., NeurIPS 2020, arXiv:2004.11362
  • Age/gender head design (age regression scaled to 0-100 years, 3-class female/male/child gender): Burkhardt et al., 2023, "Speech-based Age and Gender Prediction with Transformers", arXiv:2306.16962
  • CCC loss (age regression): Lin, 1989, "A Concordance Correlation Coefficient to Evaluate Reproducibility", Biometrics
  • RawBoost augmentation: Tak et al., 2021 (ICASSP 2022), arXiv:2111.04433
  • FreqMask augmentation: Xie et al., 2024, arXiv:2408.06922
  • SpeechFake dataset: ACL 2025, "SpeechFake: A Large-Scale Multilingual Speech Deepfake Dataset Incorporating Cutting-Edge Generation Methods", arXiv:2507.21463

License

CC-BY-NC-4.0 — free for personal and research use.

Citation

If you use this in research, evaluation, or training, please acknowledge it:

@misc{segev2026forensicsv2,
  author       = {Segev, Eliya},
  title        = {Forensics 0.3B v2: Speech Deepfake Detection + Age/Gender Classifier},
  year         = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · audio-classification

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
57e97fd

0 моделей