/ Модель

Характеристики

Базовая модель
clip-vit-large-patch14
Библиотека
pytorch
Опубликована
9 окт 2026

HEAR

Классификация видеоВидео → label

HEAR — дообученный на CLIP ViT-L/14 классификатор видеороликов с лицами для выявления дипфейков.

0скачиваний за 30 дней0лайковвеса обновлены9 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HEAR — исследовательский чекпойнт для обнаружения дипфейков в видеороликах с лицами. Он основан на CLIP ViT-L/14 от OpenAI и дообучен для классификации видео по схеме FaceForensics++ c23. Модель выдаёт метку: 0 для настоящего видео и 1 для поддельного.

Чекпойнт поставляется как словарь весов PyTorch, а не как готовая модель Transformers для загрузки через from_pretrained. Для запуска нужны код репозитория HEAR и конфигурация clip_inference.yaml. В описанном варианте предсказания используют ветвь визуальных признаков; вспомогательные веса временной ветви удалены.

Оценка модели — это предсказание, а не доказательство подлинности или подделки видео. Качество может меняться в зависимости от набора данных, способа манипуляции и предварительной обработки. Карточка не приводит новых результатов бенчмарков. Лицензия в предоставленных данных не указана.

Сценарии применения

  • проверка видеоролика с лицом на признаки дипфейка
  • классификация видео как настоящего или поддельного
  • исследовательский анализ методов подмены лиц на видео

Ограничения

Предсказание не доказывает подлинность или подделку; качество зависит от данных, метода манипуляции и предварительной обработки. Чекпойнт требует загрузчика HEAR и конфигурации clip_inference.yaml, а не загружается напрямую через Transformers from_pretrained.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HEAR — CLIP-L/14 checkpoint

Checkpoint for HEAR: Hierarchical Evidence Accumulation with Coherence Refinement for Deepfake Face Video Detection.

This is the original research checkpoint, trained using the FaceForensics++ c23 setup. It is supplied as a PyTorch state dictionary (hear_clip_l14.pth), not as a Transformers from_pretrained model. Load it using the HEAR repository's training/test.py and the included clip_inference.yaml configuration. Labels are 0 for real and 1 for fake.

The cleaned HEAR loader maps legacy appearance-head parameter names and discards the removed auxiliary temporal-difference branch weights. Predictions use the appearance evidence path. This checkpoint is for CLIP-L/14, not DINOv3.

The training, testing, and checkpoint-selection framework and major portions of the implementation are adapted from DeepfakeBench. Evaluation datasets and access instructions are provided by DeepfakeBench and DF40.

A model score is a prediction, not proof that a video is authentic or manipulated. Performance can change across datasets, manipulation methods, and preprocessing pipelines. No new benchmark results are asserted by this model card.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · video-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
69ab856

0 моделей