/ Модель

Характеристики

Лицензия
MIT
Библиотека
pytorch
Опубликована
29 июн 2026

RobustDeepfakeCVPR26-models

Классификация изображенийИзображение → label

Ансамбль из шести PyTorch-классификаторов ConvNeXt для обнаружения дипфейков и поддельных изображений лиц.

0скачиваний за 30 дней0лайковвеса обновлены29 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RobustDeepfakeCVPR26 — ансамбль из шести PyTorch-классификаторов команды AI4Good / SoloUNI для обнаружения поддельных изображений лиц. Модели представлены чекпойнтами с разными вариантами ConvNeXt и обучены для участия в соревновании NTIRE 2026 Robust Deepfake Detection Challenge. Классификация выполняется для изображений размером 224×224; два варианта LMHM требуют дополнительный канал с тепловой картой лицевых ориентиров.

При обучении использовались 500 подлинных изображений: псевдоподделки генерировались на лету методом Self-Blended Images с деградациями PMM, без обучающих реальных подделок. Шесть моделей объединяются усреднением вероятностей, а вывод использует три детерминированных варианта TTA. В README указаны AUC 0,6865 на публичном тесте CodaBench для ансамбля и 0,7644 на локальном сложном тесте для лучшего одиночного чекпойнта; эти результаты относятся к описанным наборам и протоколам оценки. Модель распространяется по лицензии MIT.

Сценарии применения

  • проверка изображения лица на признаки дипфейка
  • поиск подмены лица на деградированных или обработанных изображениях
  • классификация изображений лиц как подлинных или поддельных
  • оценка вероятности фальсификации в исследовательском конвейере компьютерного зрения

Ограничения

Описанные метрики получены на конкретных тестовых наборах и не гарантируют качество на иных типах подделок и условиях съёмки. Для двух чекпойнтов LMHM необходим четвёртый входной канал с тепловой картой лицевых ориентиров.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RobustDeepfakeCVPR26 — AI4Good greedy6 ensemble

Model checkpoints for Team AI4Good / SoloUNI's submission to the NTIRE 2026 Robust Deepfake Detection Challenge (CVPR 2026 Workshop).

Method — Self-Supervised Adversarial Training. Binary classifiers trained on the 500 real images only using Self-Blended Images (SBI) + PMM degradation. No real fakes are used — pseudo-fakes are generated on-the-fly from pairs of real images via landmark-guided Poisson/Alpha blending. Six diverse backbones are trained independently and combined by probability averaging with 3× deterministic TTA.

The 6 models

Each file is <model>/best.pt — a PyTorch checkpoint dict with keys including model (state_dict), epoch, best_auc, and the full training config. All trained at 224×224, AdamW, cosine 100 epochs, seed: 42 (csl uses 43), deterministic: true, amp: false.

ModelBackbone (timm)In ch.Hard-Test AUCVal AUC
r3d_fa_csbconvnext_base.fb_in22k_ft_in1k30.76440.897
lmhm_cssconvnext_small.fb_in22k_ft_in1k + LMHM40.72680.900
r3e_fa_cssconvnext_small.fb_in22k_ft_in1k30.72590.844
r3d_fa_csl_s43convnext_large.fb_in22k_ft_in1k30.71270.867
r3d_fa_deit3_sdeit3_small_patch16_22430.71110.889
lmhm_vitsvit_small_patch16_224.augreg_in21k_ft_in1k + LMHM40.69450.899
Ensemble (6) + TTA——0.7777—

CodaBench Public Test AUC: 0.6865 (submission 632762, 6-model ensemble + TTA). Hard-Test AUC is on a local 500-real/500-fake degraded holdout; Val AUC is the in-training best. LMHM = landmark-heatmap models take a 4-channel input (RGB + face-landmark heatmap, σ=4).

Usage

from huggingface_hub import snapshot_download
local = snapshot_download(repo_id="CristianLazoQuispe/RobustDeepfakeCVPR26-models", repo_type="model")
# place each <model>/best.pt under $DATA_ROOT/experiments/<model>/fold0/best.pt, then:
# Reproduce the submission with the code repo (6-model ensemble + TTA)
python scripts/generate_ensemble_submission.py \
    --models r3d_fa_csb r3e_fa_css lmhm_vits r3d_fa_deit3_s r3d_fa_csl_s43 lmhm_css \
    --device cuda:0 --tta --output greedy6_final.zip

Architecture & preprocessing for each model are embedded in its checkpoint's config. The two lmhm_* models require the landmark-heatmap 4th channel (see the code repo's dataset/transform).

Citation

@InProceedings{Hopf_2026_CVPR,
  author    = {Hopf, Benedikt and Timofte, Radu and others},
  title     = {Robust Deepfake Detection, NTIRE 2026 Challenge: Report},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
  month     = {June},
  year      = {2026},
  pages     = {1925-1938}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · image-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
33c12a5

0 моделей