Характеристики

Лицензия: Своя лицензия
Опубликована: 9 окт 2026

Ссылки

Hugging Face

sifta-deepfake-detector

zodumair

Классификация видеоВидео → label

Классификатор SIFTA выявляет подмену и манипуляции лиц в видео по последовательностям лицевых кадров.

0скачиваний за 30 дней0лайковвеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SIFTA — классификатор видео с манипуляциями лиц, включая замену лица и reenactment. Модель разработана в рамках выпускного проекта SIFTA на основе Microsoft X-CLIP Base Patch16, дообученной на FaceForensics++ c23 с официальным разделением данных и пятью методами манипуляции.

Модель принимает видеокадры с лицами и оценивает вероятность того, что видео поддельное. Для работы требуется воспроизводить описанную предобработку: детекцию лиц OpenCV YuNet, выбор крупнейшего лица, нарезку клипов и создание квадратных кропов. На тестовой выборке FaceForensics++ указана ROC-AUC 0,9868, а на Celeb-DF v2 — 0,9117; эти результаты не гарантируют качество на других источниках.

Модель предназначена для исследовательского выявления подмены и reenactment лиц в видео. Она не анализирует полностью сгенерированные сцены, другие виды видеомонтажа или подделки только звука. На новых доменах точность при фиксированном пороге может снижаться. Лицензия указана как other; карточка запрещает коммерческое использование, а для обучающих датасетов действуют отдельные условия.

Сценарии применения

проверка видео на подмену лица
выявление reenactment лица в видеоролике
оценка вероятности дипфейка по лицевым кадрам

Ограничения

Модель анализирует только лица: полностью сгенерированные сцены, монтаж без манипуляции лицом и подделки только звука не входят в область применения. Качество может снижаться на новых доменах, а применение ограничено исследовательскими целями и условиями датасетов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SIFTA deepfake detector: X-CLIP-B/16

Detects face-manipulated video (face swap / reenactment) from face crops. Part of SIFTA (FYP). Research use only.

Backbone: microsoft/xclip-base-patch16 (clip-level), fine-tuned on FaceForensics++ c23 only (official split; 5 methods)
Selected by rule generalisation_dev among XceptionNet, ViT-B/16 and X-CLIP-B/16 (see comparison.csv, selection.json)
Output: calibrated P(fake) (temperature 1.152); decision threshold 0.728; risk tiers LOW < 0.3 <= MEDIUM < 0.7 <= HIGH

Results (video level, largest face; threshold frozen from FF++ validation)

Set	Videos	Face found	ROC-AUC (95% CI)	Accuracy	Macro-F1	EER
FF++ val	840	100.0%	0.9893 (0.983–0.994)	0.9476	0.9147	0.0407
FF++ test	840	100.0%	0.9868 (0.979–0.993)	0.9381	0.9015	0.0486
Celeb-DF v2	518	100.0%	0.9117 (0.886–0.936)	0.8031	0.7967	0.1609
DFDC	2,000	100.0%	0.8442 (0.827–0.859)	0.7395	0.7266	0.2400

Celeb-DF, DFDC and Deepfake-Eval-2024 were never used for training, early stopping, threshold or calibration.

Preprocessing (must match at inference)

{ "face_detector": "OpenCV YuNet face_detection_yunet_2023mar.onnx (sha256 8f2383e4...)", "clip_len": 8, "clip_stride": 2, "clips_per_video": 4, "crop": "square, 1.3x margin, 256 px, JPEG q92", "video_score": "mean calibrated P(fake) over the largest face's frames/clips" }

Limitations

Sees faces only: fully generated scenes, non-face edits and voice-only fakes are out of scope (SIFTA routes them to the AI-video and voice detectors).
Accuracy at the fixed threshold drops on new domains even when AUC holds; use the calibrated score and risk tiers.
Training data: FF++ (YouTube news-style, c23). Deepfake-Eval-2024 subjects are mostly English-speaking, light-skinned, Western.
Dataset terms: FF++ (research, terms of use), DFDC (non-commercial), Deepfake-Eval-2024 (evaluation only). Not for commercial use.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 89734fc